🌳: Stage 1의 주제는 'AI에 대하여'입니다. AI의 기술발전에 대해선 항상 뉴스에 나오지만, 그 위험성에 대해 다루는 것은 매우 극소수입니다. Level 1에선 AI의 위험성에 대해 다뤄봅니다.

 22년도 말에 Chat GPT가 등장한 이후로 전 세계의 많은 노동과 자본력은 AI를 향하고 있다. 처음엔 메타버스와 같이 사기성 기술이라고 주장하는 이들도 있었으나, 3년이 지난 지금도 AI는 발전할 길만 남아 있다.

 1967년도에 미국 미네소타대학에서 Mac Hack이라는 체스 프로그램이 인간 선수를 최초로 이긴 것에서 시작해서 이세돌과 알파고, 그리고 현재 누구나 체스나 바둑에서 AI 핵을 사용할 수 있는 수준까지 올라오게 되었다.

 AI 시스템은 이미 전략 게임이나 단백질 구조 예측 등 특정 영역에서 인간이 결코 닿을 수 없는 능력까지 접해 있다. 또한 막대한 GPU 자원을 활용하여 수백만 개로 복제되어 더욱 높은 성능을 보여줄 수 있다. 또한 AI 모델 훈련에 대한 투자는 매년 3배씩 증가하고 있으며, 앞으로 AI의 성능은 지수함수에 수렴하도록 더욱 빠르게 발전할 것임을 예측할 수 있다.

 하지만 이는 동시에 대규모 위험을 수반한다. AI 연구의 1-3%만이 안전에 할애되고 있으며, 자본은 더 빠른 기술 발전에만 집중하고 AI 안전엔 별로 관심을 갖지 않고 있다는 것이 사실이다.

 먼 미래의 메트릭스 세계관만을 뜻하는 것이 아니다. 당장만 하더라도 AI를 활용한 딥페이크, 보이스피싱 등 사람들의 피부에 닿는 범죄들이 시시각각 일어나고 있다.

 현재까지의 AI 시스템들은 대부분 특정 작업을 수행하는 도구적 성격이 강했다. 하지만 최근 AI 연구의 방향은 스스로 목표를 설정하고 행동할 수 있는 자율적 AI 시스템 개발로 향하고 있다. 예를 들어 최근까지 AI는 질문에 답을 하는 것이 한계였다면, 최근 AI는 에이전트 기능을 활용하여 사용자의 컴퓨터에 직접 접속하여 자료를 분석하고, 스스로 작업을 수행할 수 있는 능력을 지니고 있다. 

 문제는 자율적 AI가 의도한 목표에서 벗어난 역할을 수행할 수 있다는 점이다. 현재도 AI가 만든 결과물을 체리피킹하여 좋은 결과값을 선택하는 방식을 사용하듯, 자율적 AI가 수행하는 결과물 또한 예측에서 크게 벗어날 수 있다는 것이다.

 현재는 AI가 오답을 말하거나 오류를 일으키는 정도이지만, AI가 지속해서 저품질의 데이터를 더하고 학습하는 자가당착의 오류에 직면했을 때 AI의 자율성이 지나치게 높아져 있는 상황이라면 그 결과가 어떨지 예측하기 어렵다.

 AI 안전성 확보는 단순히 더 큰 모델을 훈련하는 방식으로는 달성될 수 없다. 현재 시급한 기술적 과제 중 첫째는 감독과 정직성 문제이다. AI 시스템의 능력이 고도화될수록 감독 체계의 한계를 회피하거나 오용될 가능성이 커지며, 이는 결과의 신뢰성을 저해한다.

 둘째, 견고성과 해석가능성 문제가 있다. AI는 훈련되지 않은 새로운 환경에서 예측 불가능한 행동을 보일 수 있으며, 모델의 규모가 커질수록 내부 작동 원리는 점점 불투명해진다. 현재로서는 대규모 모델의 결과를 충분히 설명하거나 예측할 수 있는 체계적 방법이 부재하다.

 이 논문은 이러한 안전성 문제가 단순한 성능 향상으로 해결되지 않음을 강조한다. 오히려 성능의 향상은 위험을 동반하는 경우가 많으며, 따라서 안전성을 위한 독립적인 연구와 공학적 노력이 필수적이다. 그러나 현재 대부분의 안전성 연구는 초기 단계에 머물러 있다. 

 현재 자본이 과도하게 치우치는 급속한 기술 발전 속도를 고려할 때 적시에 근본적 해결책을 마련할 수 있을지는 불확실하다.

  AI 발전 속도에 부합하는 거버넌스 체계 구축이 시급하다. 제약, 금융, 원자력 에너지와 같은 안전 중요 기술 분야에서 보듯이, 정부의 감독은 위험을 효과적으로 완화하는 수단으로 기능해왔다. 그러나 현재 AI에 대한 거버넌스 프레임워크는 급속한 기술 발전에 크게 뒤처져 있다.

 핵심은 AI가 특정 능력의 이정표에 도달했을 때 자동으로 발동되는 정책을 마련하는 것이다. 기술이 빠르게 진전하면 엄격한 요구사항이 즉시 적용되고, 진전이 느려지면 요구사항이 완화되는 방식이다.

 특히 중요한 것은 개발자가 시스템의 안전성을 입증해야 하는 안전 사례(Safety Cases) 제도의 도입이다. 항공업계나 의료기기 산업에서와 같이, AI 개발자도 잠재적 위험을 식별하고, 완화 방안을 설명하며, 시스템이 특정 위험선을 넘지 않을 것임을 체계적으로 논증해야 한다. 정부는 이러한 안전 사례를 평가하고, 독립적인 감사를 실시하며, 안전 주장이 허위로 판명될 경우 개발자에게 책임을 물어야 한다.

 하지만 위의 이야기들은 이상이 가미된 방식들이며, 현재와 같이 세계 시장의 자본이 집중된 상태에서 도덕, 윤리 문제들은 서로 쉬쉬할 가능성이 높다.

 AI 발전이 가져올 수 있는 극단적 위험은 현실적 가능성을 지니지만, 이는 곧바로 AI 발전 자체를 중단해야 한다는 의미는 아니다. AI는 질병 치료, 생활 수준 향상, 생태계 보호 등 인류에게 중대한 기회를 제공할 수 있는 기술이다. 중요한 것은 능력 개발과 안전성 확보 사이에서 균형을 찾는 일이다.

 기후변화 대응에 수십 년이 걸렸던 것과 달리, AI에는 그러한 여유가 없을 수 있다. 따라서 사전 예방적 접근이 필수적이다. 반면 모두가 기후변화가 있을 것을 알고 있었지만 당장 눈 앞의 자본, 정치적 문제에 집중하기 때문에 실제로 미래의 심각성을 알면서도 모른채 하는 이들이 넘쳐날 것이다.

 이 글을 쓰면서 가장 안타까웠던 사실은 우리가 이미 기후 위기라는 것은 수십년 전부터 예측하였음에도 불구하고 전혀 예방하지 못한 전례가 있는데, AI는 예측이 어려울 만큼의 위기가 닥칠 수 있음에도 불구하고 정부와 기업은 거버넌스 조치에 별 관심을 가지지 않는다는 점이다. 이럴 때일 수록 개인은 AI의 위험성을 주시하고, 목소리를 내야하지 않을까?

Yoshua Bengjo, “Managing extreme AI risks
amid rapid progress, 2024

현재 Stage 2에서 'AI에 대하여'라는 주제를 다루고 있습니다. 이에 맞춰 '주기적인 질문', '읽고, 보고, 쓰기'를 통해 같은 주제를 다른 방식으로 다루고 있습니다.