🌳: Stage 2의 주제는 'AI에 대하여'입니다. AI가 인간의 감정을 이해하고, 이에 대해 표현하는 것을 과연 감정이라고 부를 수 있을까요? Level 2에선 AI의 감정에 대해 다룹니다.

 이번 2-2 읽, 보, 쓰에서 다룬 <스페이스 오디세이: 2001>을 보고나면 한 가지 물음이 남게 된다. “그래서 HAL 9000의 행동에 대한 책임은 누가 지지?” 생각외로 이런 고민을 했던 사람들이 제법 있었고, HAL 2000을 대상자로 한 것은 아니지만 이와 같은 아이디어로 시작한 논문이 있었다. 1)

 짧게 여러 논문들을 정리해보자면, 핵심은 ‘불확실성’이다.  우선 엔지니어의 경우로 시작해보자. 엔지니어조차 인공지능의 행동을 예측할 수 없는 시점이 오게 되면, 이 상황에선 엔지니어에게 책임을  물을 수 없으며 이를 책임의 공백(Responsibility Gap) 이라고 부른다.

과거엔 기계들이 인간이 시키는 것만 그대로 따랐다면, 앞으로의 AI들은 스스로 학습하여 판단하고 생각하며 그 과정에서 인간의 알고리즘 예측 범위를 넘어서게 되기 때문이다.

 반대로 인공지능에게 그 책임을 부가하는 것이 타당할까? 이에 대한 대답도 부정적이다. 우리는 AI에게서 자유의지나 의식을 찾고자 노력하지만, 결국 인공지능에게 인간과 동일한 신체조건이나 영혼을 인정할 수 없기에, 인공지능에게 잘못에 대한 책임을 부가하기 또한 어려워진다.

 우리는 흔히 도덕적 책임을 묻기 위해 행위자의 내면을 들여다본다. 법정에서 심신미약이나 고의성을 따지는 것도 같은 이유다. 전통적인 윤리학의 관점에서 도덕적 주체가 되려면 '자유의지'와 '의식’이 필수적이다. 하지만 앞서 이야기했듯 AI에게는 인간과 같은 의식이나 진정한 의미의 감정이 없다. 이 기준을 고수한다면 AI는 영원히 도덕적 책임의 대상이 될 수 없으며, AI가 일으킨 사고는 자연재해와 유사한 것으로 취급될 뿐이라 그 결과에 대한 책임을 아무도 질 수 없단 문제가 생기게 된다. 따라서 차선책으로 AI에게 강제로 도덕을 부과할 수 있는 방법이있다.

 

 정보윤리 철학자 루치아노 플로리디(Luciano Floridi)는 이러한 인간 중심적 사고에서 벗어날 것을 제안한다. 그는 내면의 상태가 비어 있더라도 외부적으로 도덕적 결과를 산출한다면 그 대상을 행위자로 인정해야 한다고 주장한다.

 플로리디에 따르면, 어떤 시스템이 환경과 상호작용하고, 스스로 상태를 변경하며, 학습을 통해 규칙을 수정할 수 있다면 그것은 ‘행위자’다. 현대의 고도화된 AI는 이 세 가지 조건을 충족한다. 즉, AI는 인격체는 아니지만, 선이나 악의 결과를 만들어내는 명백한 도덕적 행위자인 셈이다.

 이러한 관점의 전환은 우리가 AI에게 책임을 묻는 방식을 근본적으로 바꾼다. AI는 죄책감을 느낄 수 없으므로 그들에게 필요한 것은 인간적인 비난이나 처벌이 아니다. 대신 오류가 발생한 시스템으로서의 수정과 폐기, 혹은 ‘기능적 제재’라는 엔지니어링 관점의 책임이 적용되어야 한다. AI를 도덕적 행위자로 규정하는 것은 AI의 인격을 인정하기 보단 행동을 윤리적 관리의 영역으로 포섭하여 통제하기 위함이다.

 AI를 도덕적 행위자로 인정하는 것을 가정했을 경우, 인간의 역할은 당연하게도 늘어나게 된다. AI 챗봇처럼 이상한 답변만 늘어놓는 것이 아닌, 실질적인 결과로 응대를 해야만 하기 때문이다.

 이 지점에서 산토니 디 시오(Santoni de Sio)와 예로엔 반 덴 호븐(Jeroen van den Hoven)은 ‘유의미한 인간 통제(Meaningful Human Control)’라는 개념을 제시한다. 이는 단순히 사람이 기계 옆에 서서 감시하는 것(Human-in-the-loop)을 넘어선다. 그들은 진정한 통제를 위해 두 가지 조건이 충족되어야 한다고 말한다.

 첫째는 추적이다. AI 시스템은 어떤 상황에서도 인간의 도덕적 이유와 의도에 반응하도록 설계되어야 한다. AI가 자율적으로 판단하더라도 그 판단의 궤적은 인간이 설정한 윤리적 가이드라인을 벗어나지 않아야 한다는 뜻이다. (로봇 3원칙처럼)

 둘째는 귀속이다. 사고가 발생했을 때, AI에게 허공의 책임을 부과하는 것이 아닌, 그 시스템을 설계하고 배포한 특정 인간(개발자, 관리자, 혹은 사용자)에게 책임을 역추적할 수 있는 구조가 마련되어야 한다.

  정리하자면, 사실 AI에게 도덕성을 논의하는 것은 넌센스이긴하다. 신체적 조건부터 시작하여 인간과 근본적으로 다른 존재에게 도덕을 논하긴 어렵다. 하지만 그렇다고 아무런 조취도 취하지 않는다면 더 큰 문제가 발생하게 될 것이다. 그래서 우리는 그것이 넌센스임을 알면서도 도덕성을 부여하고, 그 끝엔 인간을 연결시켜 두는 등의 거버넌스 조취를 취할 수 밖에 없다.

 현재는 AI의 도덕이나 윤리를 규제하는 것 보단 과도한 경쟁으로 인하여 여러 피해들이 발생하고 있다. 범죄 예시론 보이스피싱에 AI를 활용한 음성변조, 로맨스스캠에 가짜 인물을 배치하는 등의 문제가 있다. 좀 더 와닿는 예시론, AI를 활용하여 무분별하게 콘텐츠를 제작하고 팔로우나 댓글을 유도하며 강의를 팔려는 목적의 사람들도 우리 주변에서 쉽게 인지할 수 있다.

 이런 경우 결국 AI의 결과에 대한 도덕성을 부여하고, 그 책임을 강제로 인간에게 부여하는 차선책을 선택하는 방법 밖에 없다고 생각한다.

Andreas Matthias, “The Responsibility Gap: Ascribing Responsibility 
for the Actions of Learning Automata”, 2004
Flodidi&Sanders, “On the Morality of Artificial Agents”, 2004
Santoni de Sio & van den Hoven, “Meaningful Human Control over Autonomous
Systems”, 2018

현재 Stage 2에서 'AI에 대하여'라는 주제를 다루고 있습니다. 이에 맞춰 '주기적인 질문', '읽고, 보고, 쓰기'를 통해 같은 주제를 다른 방식으로 다루고 있습니다.