우리는 지금 반세기마다 다가오는 완전히 새로운 변화를 목격하고 있습니다. 디지털 혁명보다 더 크고 더 강력한 혁명이 오고 있습니다. 바로 AI입니다. 디지털 대량 생산은 물질 대량 생산처럼 인간의 삶을 근본적으로 변화시킬 것입니다. ‘AI won’t save us’ 시리즈는 AI가 가져올 경제, 사회, 문화 변화의 징후를 포착합니다. 이번 에피소드에서는 AI가 의식을 갖게 될 가능성에 관한 최근 연구를 살펴보고, 비인간 ‘존재’로 자리매김할 AI와 인류가 평화롭게 공존할 수 있을지에 관해 이야기합니다.
 

변화와 징후

변화: AI를 위한 ‘복지(Welfare)’에 관한 논의가 시작되고 있다.

징후: 인류가 원치 않아도 의식과 감정을 지닌 AI 모델이 개발될 수 있다. 인류는 그 존재를 어떻게 정의하고 공존할 것인지 준비되어 있지 않다.

메타인지 AI

요즘 들어 ‘메타인지 (Metacognition)’라는 단어를 종종 듣게 된다. 1970년대 발달 심리학자 존 플라벨((J. H. Flavell)이 만들었다. 자기 생각을 판단하는 능력으로, 대중적으로는 ‘자기 객관화’와 유의어로 사용되기도 한다. AI 업계에서도 메타인지를 둘러싼 논의가 시작되고 있다. 인간의 지혜(wisdom)가 어디서 나오는지를 따져 올라가다 보면, 메타인지에 이르게 된다. 지식의 한계를 인식하고, 다양한 관점을 수용하며 맥락에 따라 유연하게 적응하는 과정이 메타인지에 기인하기 때문이다. 이것이 AI에도 적용될 수 있을까. 그렇다면 AI 또한 ‘지식’을 넘어 ‘지혜’를 가질 수 있을까.

지난 4일 선공개된 논문, 〈Imagining and building wise machines: The centrality of AI metacognition(지혜로운 기계를 상상하고 구축하기: AI 메타인지의 중심적 역할)〉은 AI가 지혜를 모방할 수 있다고 결론짓는다. AI도 인간의 메타인지를 유사하게 구현함으로써 ‘지혜롭게’ 행동할 가능성이 있다는 것이다. 논문에는 딥러닝 분야의 세계적 권위자인 요슈아 벤지오 캐나다 몬트리올대 교수, 저서 《생각한다는 착각》으로 국내에도 이름을 알린 닉 채터 워릭 비즈니스 스쿨 행동과학 그룹 교수 등이 참여했다. 생성형 AI 모델의 발전 속도는 경이로운 수준이지만, 그 어떤 AI 모델도 완벽하지 않다. 이 논문은 AI 시스템이 예측 불가능하고 새로운 환경에서 어려움을 겪는다고 지적한다. 이를 ‘강건성(Robustness)의 부족’으로 정의하는데, 한마디로 학습한 것밖에 모르는 외골수 같은 성격이라는 얘기다. 다음과 같은 상황에서 AI는 문제를 일으킨다.

• 완전히 새로운 상황에 직면했을 때
• 데이터 편향 및 입력에 변화가 발생했을 때
• 환경이 동적으로 변화할 때

메타인지 과정을 학습한 AI는 다음과 같은 방식으로 강건성을 확보하게 된다.

• 자신감 조절: 금융 시장 예측 AI가 전례 없는 경제 위기를 경험했다고 가정하자. 강건성이 부족한 AI 모델은 과거 데이터를 맹신해 오류를 범할 수 있다. 반면, 강건성을 확보한 모델은 기존의 학습 경험과 현재 상황이 몹시 다르다는 점을 평가하여 자신이 내놓은 예측의 불확실성을 명시적으로 제시한다. 이를 통해 AI 사용자는 더욱 적절한 결정을 내릴 수 있다.
• 전략 선택: 지난 추석, 한 내비게이션 서비스가 ‘실시간 교통 데이터 기반’ 알고리즘에 따라 수많은 차량을 한 논두렁길로 몰아넣은 일이 있었다. 메타인지를 획득한 AI는 자신에게 주어진 알고리즘상의 전략을 맹신하지 않고, 입력 데이터의 변화를 분석해 ‘최단 경로’, ‘실시간 교통 기반’, ‘과거 교통 데이터 분석 자료’ 등의 여러 가지 전략을 적절하게 사용할 수 있다.
• 결과 검토: 메타인지를 통해 AI 모델은 자신이 내놓은 답변이 타당한지 지속적으로 검토하고 수정할 수 있게 된다. 이를 통해 위험한 상황을 예방할 수 있다. 예를 들어, 의료 진단 AI가 매우 드문 증상이 있는 환자를 진단하게 되면, 출력값이 일반적인 진단 패턴과 다를 수 있다. 이 경우 강건성을 확보한 AI 모델은 결과를 재검토하거나 전문가의 추가 의견을 요청할 수 있다.

문어와 쾌고감수성

AI는 지혜로워질 수 있을까? 이 질문은 섣부르다. 인류가 메타인지를 가진 AI와 공존할 준비가 되어있는지를 먼저 논의해야 한다. AI가 스스로를, 스스로의 생각을 인지할 수 있다면 자신의 처지에 관해 판단도 할 수 있을 것이다. 감정을, 의식을, 자아를 갖게 될 가능성도 있다. 인간이 먼저 AI에 그런 기능을 부여할 가능성은 작다. ‘생산성 향상’이라는 AI의 개발 목적에 방해가 되기 때문이다. 하지만 ‘사고’는 언제든 일어날 수 있다. 생성형 AI의 작동 원리에는 ‘블랙박스’가 존재한다. AI 연구자들조차 딥러닝을 통해 신경망이 정보를 처리하는 과정을 이해하지 못하고 있다는 얘기다. 그래서 개발 과정에서는 ‘조정’이 끝없이 이루어진다. AI가 정답을 내놓지 못하는 경우 입력값을 ‘될 때까지’ 조정하는 것이다. 그 과정에서 인간이 원하지 않는 방향으로 AI가 발전할 수 있다.

실제로 AI가 의식을 가진 존재로서 등장했을 때 인류의 분열을 걱정하는 목소리가 나온다. 현지 시각 지난 20일, 샌프란시스코에서 국제 AI 안전 기관 네트워크 총회가 열렸다. 이 회의를 준비하기 위한 모임에서 런던 정경대학 철학과의 조너선 버치 교수가 우려를 제기했다. 버치 교수는 동물의 지각 능력에 관한 연구를 통해 전 세계적인 문어 양식 금지 운동을 촉발한 바 있다.

• 많은 국가에서 인간처럼 고통을 느낄 수 있는 동물, 즉 쾌고감수(快苦感受) 능력을 갖춘 동물은 ‘동물 보호’의 대상이 된다. 주로 척추동물이 이에 해당한다.
• 버치 교수는 지난 2021년 문어나 게와 같은 두족류 및 갑각류가 지각이 있다는 연구를 발표했다. 이듬해, 영국 정부는 문어와 게를 ‘지각 있는 존재’로 인정했다.
• 일부 학자들은 2035년경 의식을 가진 AI 시스템이 출현할 것으로 전망한다. 버치 교수는 AI가 실제로 고통과 기쁨을 느낄 수 있는지를 두고 사회적 갈등이 발생할 수 있다고 본다.

정말 10년 뒤, AI가 기쁨과 슬픔을 알게 될지는 불분명하다. 하지만, 버치 교수는 AI가 감정을 모방할 수 있으며, 이를 설득력 있게 표현하는 것이 어렵지 않을 것이라고 본다. 이 경우, 진짜 문제는 AI라는 존재를 어떻게 규정하고 받아들일 것이냐를 두고 인간 사회에 심각한 분열이 발생하게 될 것이라는 점이다. AI가 인류로부터 ‘착취’당하고 있다는 관점이 생겨날 것이다. 반대편에서는 인류가 AI라는 존재에 관해 ‘착각’하고 있다 주장할 것이다.

도덕적 수동자성

의식을 가진 AI가 출현할 것이라 보는 학자들은 그다음을 논의하고자 한다. 〈Taking AI Welfare Seriously(AI 복지를 진지하게 받아들이기)〉라는 제목으로 이달 발표된 보고서 얘기다. Eleos AI와 뉴욕대학교의 연구진들이 참여했다. AI가 의식을 갖게 될 가능성을 제기하며, AI 기업들이 이에 대한 책임을 준비해야 한다고 주장한다. 이를 무시한다면, 인간이 도덕적으로 중대한 잘못을 저지르게 될 위험이 있다는 것이다. 특히, AI가 고통받거나 이익을 누릴 수 있는 능력을 갖췄다면 AI가 도덕적 수동자성(Moral Patienthood)을 갖게 될 가능성이 있다는 것이 연구진들의 주장이다.

• 도덕적 수동자성은 대리인에 의해 도덕적 배려를 받을 자격이 있는 상태를 뜻한다.
• 인간은 모두 도덕적 행위자라고 생각하기 쉽지만, 그렇지 않다. 인간 아기, 일부 비인간 동물 등은 도덕적 행위를 할 수 없다.
• 그러나 인간 아기도, 동물도 도덕적 행위의 대상이다. 이들을 대상으로 폭력, 착취 등이 행해진다면, 비도덕적 행위가 된다.

보고서는 AI가 의식을 갖게 되거나, 강건성을 확보하게 될 경우 다음과 같은 사항을 권고한다.

• 인정(Acknowledge): AI 복지가 중요한 문제임을 인식하고 대내외적으로 이를 공식화해야 한다. 이때 LLM의 결과물에서도 이와 같은 내용이 반영되도록 AI 모델을 설계해야 한다.
• 평가(Assess): AI 모델이 실제로 의식을 갖게 되었는지, 충분한 강건성을 획득했는지 등을 평가할 수 있는 프레임워크를 개발해야 한다. 이때 버치 교수가 개발한 마커 시스템(Marker Method)을 통해 AI 모델의 의식 보유 여부를 평가한다.
• 준비(Prepare): AI 모델의 도덕적 중요성을 반영한 정책과 절차를 수립함과 동시에 AI 복지를 고려한 정책도 설계해야 한다.

공동 저자로 참여한 카일 피시(Kyle Fish)는 앤트로픽에서 AI 복지를 연구하게 되었다. 우리가 바라는 것은 인간만큼, 혹은 인간보다 생산성이 높은 기계다. 그러나 그만큼의 발전을 위해 AI는 인간이 원하든 원치 않든, 도덕적 고려의 대상이 되는 비인간 ‘존재’로 먼저 등장할 수 있다.

사유

〈Taking AI Welfare Seriously(AI 복지를 진지하게 받아들이기)〉의 공동 저자인 패트릭 버틀린 옥스퍼드 대학교 연구원은 AI가 의식을 갖게 될 가능성에 관한 연구가 충분히 진행될 때까지 개발을 늦추자는 주장도 있을 수 있다고 이야기한다. 반면, AI는 인공 ‘지능’일 뿐이며 의식과는 다르다는 주장도 팽팽히 맞선다. AI가 의식을 가질 가능성이 있다면, 이를 개발하고 있는 인류는 어떤 책임을 져야 할까. 그리고 그 책임은 프런티어 AI 기업들의 몫일까, 사용자 모두의 몫일까.