인간을 해치는 초지능적 기계들에 대한 불안은 더 이상 공상 과학이 아니라고 과학자들은 말한다.

“‘그것’은 30억 년 전 진흙 웅덩이에서 한 개의 분자가 자가 복제하여 모든 지구 생명체의 궁극적 조상이 되었던 시점에서 시작되었다. ‘그것’은 400만 년 전 고인류(hominid) 두뇌의 용적이 급격히 팽창하면서 시작되었다.

5만 년 전, 호모 사피엔스 사피엔스(Homo sapiens sapiens)의 등장.
1만 년 전, 문명의 발생.
500 년 전, 인쇄기의 발명.
50 년 전, 컴퓨터의 발명.
앞으로 30년 안에, ‘그것’은 막을 내릴 것이다.”

2007년, 얀 탈린(Jaan Talinn)은 〈특이점을 바라보며(Staring into the Singularity)〉라는 제목의 온라인 에세이에서 이 구절들과 마주쳤다. ‘그것’은 인류의 문명화를 뜻했다. 그 에세이의 작가는 광범위한 영역에서 인간 수준의 지능을 능가하는 초지능, 즉 AI의 출현과 함께 인간성(humanity)은 더 이상 존재하지 않을 것이라고 전망했다.

에스토니아 출신의 컴퓨터 프로그래머인 탈린은 물리학 배경지식과 더불어 삶을 하나의 커다란 프로그래밍 과제로 접근하는 경향을 갖고 있는 인물이다. 그는 2003년 스카이프(Skype)를 공동 창업하고 그 애플리케이션의 백엔드(Back-End)를 개발했다. 2년 후 이베이(eBay)가 스카이프를 인수했을 때 그는 주식을 매각하고 다음 행보를 준비하고 있었다. 〈특이점을 바라보며〉에는 컴퓨터 코드, 양자 물리학, 그리고 만화 〈캘빈과 홉스(Calvin and Hobbes)〉의 인용구들이 조합되어 있었다. 탈린은 여기에 매료되었다.

탈린은 곧 〈특이점을 바라보며〉의 작가이자 독학 이론가인 엘리저 유드코프스키(Eliezer Yudkowsky)가 초지능에 관한 1000개 이상의 에세이와 블로그 포스트를 썼다는 것을 발견했다. 그는 인터넷에 있는 유드코프스키의 글들을 스크랩해 연대순으로 정리하고 이를 아이폰 형식에 맞추는 프로그램을 직접 만든 후, 그 글을 읽으며 1년의 대부분을 보냈다.

인공지능 - 혹은 컴퓨터나 기계를 통한 지능의 시뮬레이션 - 이라는 용어는 최초의 전자 디지털 컴퓨터가 만들어지고 불과 10년 후인 1956년에 처음 나왔다. 당초 이 분야에 대한 기대는 높았지만, 초기의 긍정적인 전망이 가시적인 성공으로 이어지지 않으면서 1970년대 ‘인공지능의 겨울(AI winter)’이라 불리는 침체기를 맞았다. 탈린이 유드코프스키의 에세이를 발견했을 때는 인공지능이 르네상스를 지나고 있는 시기였다. 과학자들은 체스, 부엌 바닥 청소, 음성 인식 등 구체적인 분야에서 뛰어난 성능을 보이는 인공지능을 개발하고 있었다. 이러한 이른바 ‘좁은 AI(narrow AI)’는 인간을 초월하는 능력을 갖췄지만, 이 능력은 AI가 우위를 점하는 특정 분야에 국한된다. 체스를 두는 AI가 바닥을 청소하거나 사람을 A지점에서 B지점으로 이동시킬 수는 없다. 탈린이 믿게 된 바에 의하면 초지능형 AI는 하나의 개체(entity)로서 광범위한 기술들을 수행하게 될 것이다. 비관적으로는, AI가 스마트폰을 통해 인간이 만들어내는 데이터를 사회 조작에 이용하게 될 수도 있다.

탈린은 유드코프스키의 글을 읽으며 초지능이 인간 존재를 위협할 수 있는 AI의 폭발적 도약을 일으킬 수 있다고 확신하게 되었다. 인간이 원숭이의 우위를 점하게 된 것과 마찬가지로 초지능형 AI가 진화의 사다리에서 우리 인간의 자리를 차지하게 되거나, 혹은 더 나아가 전멸시킬 수도 있다는 것이다.

유드코프스키의 에세이들을 모두 읽은 후, 탈린은 그의 평소 스타일대로 소문자로만 이루어진 이메일을 유드코프스키에게 보냈다. “나는 스카이프의 공동 창립 엔지니어 중 한 명인 얀입니다.”로 시작한 그는 본론으로 들어가 “AI가 인간 지능을 추월하는 상황에 대비하는 것이 인류에게 남은 가장 중요한 과제 중 하나라는 데에 동의합니다”라고 적었다. 그는 도움이 되고 싶었다.

일주일 후, 회의 참석을 위해 베이 지역(the Bay Area)을 방문했던 탈린은 근처에 살고 있던 유드코프스키를 캘리포니아(California) 밀브레이(Milbrae)시의 한 카페에서 만났다. 그들의 만남은 네 시간 동안 계속되었다. 유드코프스키는 최근 이렇게 말했다. “탈린은 근본적인 개념과 세부 내용들을 진정으로 이해하고 있었어요. 그건 매우 드문 일이죠.” 그 후, 탈린은 유드코프스키가 연구원으로 있던 비영리 단체 ‘인공지능을 위한 특이점 연구소Singularity Institute for Artificial Intelligence’에 5000 달러(600만 원)의 수표를 보냈다. (이 기관명은 2013년에 ‘기계 지능 연구소Machine Intelligence Research Institute(Miri)’로 변경되었다.) 탈린은 그 이후로도 60만 달러(7억 4000만 원) 이상을 계속 지원했다.

유드코프스키와의 만남은 탈린에게 우리 인간이 만들어 낸 것으로부터 우리 자신을 구해 내야 한다는 목표를 줬다. 그는 초지능이 야기하는 위협에 대한 강의를 하며 전 세계를 오가는 삶을 시작했다. 하지만 그는 대부분의 인류에게 출구를 제공할 수 있을 소위 ‘호의적 AI’에 대한 연구에 자금을 지원하기 시작했다. 호의적인 AI란 - 물론 초지능 AI에겐 가능한 일이지만 - 날씨에 대해 잡담을 나누거나 당신 아이들의 이름을 기억하는 기계나 에이전트(agent)를 의미하지 않는다. 이타심이나 애정에 기초하여 작동하는 AI를 의미하지도 않는다. AI가 인간의 충동과 가치를 공유하고 있다고 가정하는 것은 흔한 오해다. ‘호의적’이라는 것은 훨씬 더 근본적인 것을 의미한다. 미래의 기계들이 그들의 목표를 달성하기 위해 우리 인간을 지워 버리지 않는 것 말이다.

 

“뛰어난 AI는 인간이 나무를 베는 것만큼이나 빠르게 우리를 무너뜨릴 수 있습니다. 인간에게 초지능은 고릴라에게 인간이 어떠한 존재인지와 같습니다.”

지난 봄, 케임브리지대 지저스 컬리지(Jesus College)의 학생 식당에서 탈린을 만났다. 교회 같은 그 공간은 스테인드글라스 창문, 금색 몰딩, 가발을 쓴 남성의 유화 등으로 장식되어 있었다. 실리콘밸리(Silicon Valley)의 평상복인 검정색 청바지, 티셔츠, 캔버스 운동화 차림의 탈린은 묵직한 마호가니 테이블에 앉아 있었다. 그의 부스스한 회색빛 금발 위로 높이 솟은 목재 천장이 펼쳐져 있었다.

47세의 탈린은 어떤 면에서는 교과서적인 기술 혁신 기업가이다. 그는 과학의 발전 덕분에 (그리고 AI가 우리를 파괴하지 않는다는 전제하에) 자신이 ‘오래, 오래’ 살 것이라고 생각한다. 그는 연구원들과 클럽에 갈 때, 젊은 대학원생들보다도 오래 버틴다. 초지능에 대한 그의 우려는 그의 무리 안에서는 평범한 것이다. 페이팔(PayPal)의 공동 창업자인 피터 틸(Peter Thiel)의 재단은 Miri에 160만 달러(19억 7400만 원)를, 테슬라의 창업자인 일론 머스크(Elon Musk)는 2015년 매사추세츠 케임브리지의 기술 안전 기구인 미래 생명 연구소(Future of Life Institute)에 1000만 달러(123억 4000만 원)를 기부했다. 탈린의 이 특별한 세계로의 진입은 1980년대 철의 장막(iron curtain, 냉전 시대 서방 세계와 공산권 사이의 경계선)의 뒤에서 정부 직책을 가진 학급 동료의 아버지가 몇몇 유망한 아이들에게 대형 컴퓨터(mainframe computer) 접속을 허용해 주면서 이루어졌다. 에스토니아의 독립 후, 그는 비디오 게임 회사를 창립했다. 현재 그는 여전히 에스토니아의 수도 탈린(Tallinn)에서 그의 아내, 그리고 여섯 아이들 중 막내와 함께 살고 있다. 연구자들을 만날 때, 그는 종종 그들을 발트 지역(Baltic region)으로 초대한다.

탈린의 연구 지원 전략은 그가 하는 거의 모든 일이 그렇듯 체계적이다. 그는 11개의 각기 다른 기관들에 자금을 나누어 지원한다. AI 안전성을 다양한 접근법으로 연구하고 있는 이들 중 하나는 성공할 수 있다는 희망을 가지고서다. 2012년 그는 20만 달러(2억 4600만 원)에 가까운 초기 자금으로 케임브리지 생존 위협 연구 센터(Cambridge Centre for the Study of Existential Risk; CSER)를 공동 창설했다.

탈린이 엑스리스크(X-risks)라 부르는 실존적 위험은 인류의 생존에 대한 위협이다. 20대의 CSER 연구원들은 AI 외에도 기후 변화, 핵전쟁, 생화학 무기 등을 연구한다. 그러나 탈린에게 이러한 분야들은 그저 ‘관문 약물(gateway drugs)’일 뿐이다. 기후 변화와 같이 널리 받아들여지고 있는 위협에 대한 우려는 대중을 끌어들일 수 있다. 탈린은 초지능적 기계가 세상을 점령하는 것에 대한 공포가 대중의 관심을 잡아둘 수 있을 것이라고 기대한다. 그는 학계가 AI의 안전성을 보다 심각하게 받아들이기를 원했고, 그래서 학회 참석을 위해 케임브리지를 방문 중이었다.

케임브리지 지저스 컬리지에서의 저녁 식사에서 우리는 로봇공학을 공부하고 있던 홍콩에서 온 여성, 1960년대에 캠브리지를 졸업한 영국 남성 등 무작위로 이루어진 학회 참석자들과 함께 자리했다. 어느 나이 많은 남성이 테이블에 앉은 모든 사람들에게 출신 대학을 물었다 (탈린의 출신 학교, 에스토니아의 타르투대(University of Tartu)은 그에게 깊은 인상을 남기지 못했다). 그 후, 그 남성은 화제를 뉴스로 전환하려고 했다. 탈린은 그를 공허하게 바라보며 말했다. “나는 눈앞에 닥친 위험에는 관심이 없습니다.”

탈린은 대화의 주제를 초지능의 위협으로 바꿨다. 프로그래머들과 대화하지 않을 때 그는 그만의 은유를 사용하여 말한다. “뛰어난 AI는 인간이 나무를 베는 것만큼이나 빠르게 우리를 무너트릴 수 있습니다. 인간에게 있어 초지능은 고릴라에게 있어 인간이 어떠한 존재인지와 같습니다.”

AI가 세상을 지배를 하기 위해서는 숙주로 삼을 신체가 필요할 것이라고 그 남성이 말했다. “물리적 형체 없이 어떻게 물리적 통제력을 가질 수 있을까요?”

탈린에게는 또 다른 은유가 준비되어 있었다. “나를 인터넷이 연결된 지하실에 집어넣어 보세요. 나는 그 자리에서 많은 피해를 유발할 수 있을 테니까요.” 그는 이렇게 말하고 리소토 한 숟가락을 입 안에 넣었다.

 

“과학자들은 ‘우리는 혁신을 하고 있고, 혁신은 항상 좋은 것이다. 그러므로 앞장서 좋은 일을 해 나가자’고 했을 겁니다. 하지만 그들에겐 그보다 더 큰 책임이 있었죠.”

로봇 청소기 룸바(Roomba)든 잠재적으로 세상를 지배할 수 있는 후속 세대 로봇 중 하나든 모든 AI는 결과에 의해 작동한다. 프로그래머들은 그런 결과 기반의 목표들과 그 목표 달성을 위한 일련의 규칙들을 AI에게 할당한다. 첨단 AI는 세계 정복의 목표를 굳이 배정받지 않고서도 우연히 그 목표를 달성할 수 있다. 컴퓨터 프로그래밍의 역사는 재앙으로 이어진 작은 오류들로 가득 차 있다. 한 예로, 2010년 뮤추얼 펀드(mutual-fund) 기업 와델 앤 리드(Waddell & Reed)의 주식 트레이더가 수천 건의 선물(futures contracts)을 판매하면서 벌어진 문제를 들 수 있다. 당시 회사 소프트웨어의 알고리즘에는 성공적 거래에 필요한 핵심적인 변수 하나가 빠져 있었다. 그 결과는 수조 달러에 달하는 주가 폭락이었다.

탈린이 지원하는 연구자들은 초인적 AI의 보상 구조가 제대로 프로그래밍 되지 않는다면 악의 없는 목표조차도 부정적 결과를 낳을 수 있다고 믿는다. 이에 대해 잘 알려진 사례 중 하나는 옥스퍼드대의 철학자 닉 보스트롬(Nick Bostrom)의 저서 《초지능(Superintelligence)》에 등장한다. 가능한 한 많은 숫자의 종이 클립 생산을 목표로 프로그래밍 된 가상의 AI다. 이 AI는 종이 클립의 원재료로 인체를 이루는 원자를 사용하겠다는 결정까지도 내릴 수 있다.

AI의 안전성을 우려하는 그룹들 내에서조차 탈린의 견해에 대한 반대론자들이 있다. 일부에서는 초지능 AI을 완전하게 이해하지 않은 우리가 이를 제한하는 방법을 고심하는 것은 시기상조라고 이의를 제기한다. 어떤 이들은 기술의 발현 자체에 집중하는 것은 당장 해결이 시급한 - 대부분의 AI 알고리즘이 백인 남성에 의해 설계되고 있다거나 혹은 그들에게 편향된 데이터에 기초하고 있다는 사실과 같은 – 문제들로부터 주의를 돌리게 만든다고 지적한다. “이러한 문제들에 대한 심사숙고가 없다면, 우리는 더 이상 살고 싶지 않은 세상을 만들 위험에 처하게 됩니다.” AI 안전성과 같은 이슈들을 중심으로 다루는 기술 산업 협력 기구인 AI 협의체(Partnership on AI)의 이사 테라 리온스(Terah Lyons)의 말이다(탈린이 지원하고 있는 몇몇 기관들도 이 연합에 소속되어 있다). 하지만 그녀는 편향적 알고리즘과 같이 연구자들이 당장 직면하고 있는 해결 과제 중 일부는 초지능 AI가 인류에게 던지게 될 과제의 전조라고 덧붙였다.

탈린은 이에 동의하지 않는다. 그는 초지능형 AI가 독특한 위협을 초래한다고 반박한다. 궁극적으로 그는 AI 공동체가 1940년대 반핵 운동의 길을 따르기를 바란다. 히로시마, 나가사키 원자 폭탄 투하를 기점으로 과학자들은 향후 핵 실험 제한을 위해 결집했었다. “맨해튼 계획(Manhattan Project, 2차 세계 대전 중 미국의 원자 폭탄 제조 계획)에 참여한 과학자들은 당시 ‘우리는 혁신을 하고 있고, 혁신은 항상 좋은 것이다. 그러므로 앞장서 좋은 일을 해 나가자’고 했을 겁니다.” 탈린은 이렇게 말했다. “하지만 그들에겐 그보다 더 큰 책임이 있었죠.”
 

“인간의 관심사를 공유하지 않는 AI를 만드는 것은 끔찍한 실수일 겁니다.”

탈린은 AI 안전성 문제에 대한 어떠한 접근도 제대로 실행하기에는 어려움이 따른다고 경고한다. 충분히 뛰어난 AI는 자신의 한계에 대해 설계자보다 더 잘 알고 있을 것이다. “눈먼 다섯 살짜리 아이들이 지은 감옥에서 깨어나는 상황을 상상해 보세요. 그것이 인간이 설계한 초지능 AI가 놓인 상황과 같을 겁니다.”

2002년, 이론가 유드코프스키는 자신이 직접 상자 안에 갇힌 AI 역할을, 다른 사람들은 그 AI를 상자 밖으로 나오지 못하게 막는 문지기 역할을 맡은 대화 실험을 통해 설계자를 뛰어넘는 AI에 대한 증거를 발견했다.^[1] 유드코프스키는 보통의 인간인 그가 다섯 번 중 세 번의 확률로 문지기들을 설득하여 그를 풀어 주게 하는 데 성공했다고 밝혔다. 하지만 이 실험 결과가 더 나은 상자를 설계하려는 연구자들의 시도를 단념시키지는 않았다.

탈린이 지원하는 연구자들은 실용적인 것부터 당장 실현이 불가능해 보이는 것에 이르기까지 다양한 종류의 전략을 구상하고 있다. 어떤 이들은 물리적인 구조물 설계 혹은 프로그래밍을 통해 AI의 활동을 제한할 수 있는 방법에 대한 이론을 세운다. 어떤 이들은 AI에게 인간의 가치를 지키는 방법을 가르치려고 한다. 소수는 AI를 멈출 수 있는 최후의 방법을 연구한다. 이 세 가지를 모두 연구하고 있는 연구자는 탈린이 ‘세상에서 가장 흥미로운 곳’이라고 부르는 옥스퍼드대 미래인류연구소(Future of Humanity Institute)의 수학자이자 철학자인 스튜어트 암스트롱 (Stuart Armstrong)이다[탈린은 FHI에 31만 달러(3억 8000만 원) 이상을 지원해 왔다].

암스트롱은 전 세계에서 AI 안전성 연구에 헌신하는 몇 안 되는 연구자 중 한 명이다. 옥스퍼드(Oxford) 에서 그를 만났을 때, 편한 럭비 셔츠 차림의 그는 모래 빛 헝클어진 머리카락에 창백한 얼굴로 평생을 모니터 뒤에서 보낸 사람 같은 모습을 하고 있었다. 그의 설명에는 수학과 대중문화에 대한 언급이 마구 뒤섞여 있었다. 내가 그에게 성공적인 AI 안전성 연구란 어떤 것일지에 대해 물었을 때, 그는 대답했다. “‘레고 무비(The Lego Movie)’ 보셨나요? 그 영화의 모든 게 다 최고죠.”

암스트롱의 연구 중 한 갈래는 ‘오라클(oracle)’ AI 라고 불리는, AI 박스에 대한 구체적인 접근이다. FHI를 공동 설립한 닉 보스트롬(Nick Bostrom)과 함께 쓴 2012년 논문에서 그는 초지능을 물탱크와 같은 물리적인 구조물에 가두는 방법뿐 아니라, 영리한 위저 보드(Ouija board, 심령 대화용 점술 판)처럼 질문에 대한 대답만을 허용하는 방법을 제안했다. 이러한 제약 조건에도 불구하고 AI는 질문자를 교묘하게 조작함으로써 인류의 운명을 재조정할 수 있는 엄청난 힘을 가질 수 있을 것이다. 그런 일이 일어날 가능성을 줄이기 위해 암스트롱은 대화에 시간제한을 두거나 세계 질서에 혼란을 야기할 수 있는 질문들은 금지하는 방법을 제안한다. 그는 또한 오라클에게 다우 지수나 도쿄 거리의 평균 보행자 수와 같이 인간 생존과 직접적으로 연관된 수치들을 제공한 뒤, 그 수치를 일정하게 유지하도록 지시하는 방법을 제안했다.

궁극적으로, 암스트롱은 그가 논문에서 언급한 대로 ‘커다란 빨간 정지 버튼’을 만들 필요가 있다고 믿는다. 이는 물리적 스위치가 될 수도 있고, 비상시에 AI가 스스로 자동으로 꺼지게 하는 프로그램이 될 수도 있다. 하지만 그러한 스위치를 설계하는 것은 결코 쉬운 일이 아니다. 자신의 존재를 보존하려고 하는 뛰어난 AI는 그 버튼이 눌리는 것을 막을 수 있을 뿐만 아니라, 왜 인간들이 그 버튼을 고안해 내 이를 작동 시키고 자신들을 쓸모없게 만들려고 하는지에 대해 호기심을 가질 수도 있다. 2013년, 프로그래머 톰 머피(Tom Murphy VII)는 닌텐도(Nintendo) 게임 조작을 스스로 배울 수 있는 AI를 만들었다. 테트리스에서 패배하지 않기로 작정한 그 AI는 일시 중지 버튼을 눌러 게임을 멈춰 버렸다. “진정으로 승리하는 유일한 방법은 겨루지 않는 것이었다”고 그는 논문에서 씁쓸하게 회고했다.

암스트롱의 계획이 성공하기 위해서는 AI가 그 버튼에 무관심하거나, 탈린의 말처럼 “AI가 자신이 존재하지 않는 세계와 존재하는 세계에 동등한 가치를 부여해야 한다”. 하지만 연구자들이 그것을 가능하게 할 수 있다고 해도, 또 다른 해결 과제가 남아 있다. 만약 AI가 인터넷을 통해 수천 번 자가 복제를 한다면 어떻게 될 것인가?

연구자들을 가장 열광시키는 접근 방식은 프로그래밍을 통해서가 아니라 AI를 학습시킴으로써 이것이 인간의 가치를 고수하도록 만드는 것이다. 당파 정치가 지배하는 세계에서 우리는 종종 각자의 서로 다른 원칙들을 고수한다. 그러나 탈린은 인간이 많은 공통점을 지니고 있다고 말했다. “거의 모든 사람들이 그들의 오른쪽 다리를 소중히 여깁니다. 단지 그것에 대해 생각하지 않을 뿐이죠.” AI가 이처럼 당연한, 불변의 원칙들을 분별해 내는 법을 배울 수도 있다는 것이 우리의 희망이다.

그 과정에서 AI는 인간의 비논리적인 면을 배우고 인지할 필요가 있을 것이다. 사람들은 종종 의미하는 바와 다른 말을 하고, 그들의 기호는 때때로 상충하며, 술에 취한 인간은 미덥지 못하다. 이러한 해결 과제에도 불구하고, 탈린은 인공지능의 위험성이 너무 크기 때문에 시도해 볼 가치가 있다고 믿는다. 그는 “몇 걸음 앞서서 생각해야 한다”고 말했다. “인간의 관심사를 공유하지 않는 AI를 만드는 것은 끔찍한 실수일 겁니다.”

 

“우리의 관점에서 중요한 것은 AI가 ‘무엇이냐’가 아니라 ‘무엇을 하느냐’다”

케임브리지에서 보내는 그의 마지막 날 밤, 나는 탈린과 두 명의 연구원들이 참석한 스테이크 하우스 저녁 식사에 합류했다. 한 웨이터가 흰색 페인트로 칠해진 동굴 같은 분위기의 지하 좌석으로 우리를 안내했다. 그는 우리에게 세 가지 다른 종류의 으깬 감자를 제공하는 한 페이지짜리 메뉴를 건네주었다. 한 커플이 우리 옆 테이블에 앉았다가, 몇 분 후 다른 곳으로 자리를 옮겨 줄 것을 요청했다. 여자는 “폐소 공포증이 느껴진다”고 불평했다. 나는 인터넷 외에는 아무것도 없는 지하실에서 그가 만들어 낼 수 있는 손상에 대해 얘기했던 탈린의 말을 생각했다. 우리가 바로 거기, 그 상자 안에 있었다. 기다렸다는 듯 그들은 탈출 방법을 궁리했다.

탈린의 일행은 전직 유전체학 연구자이자 CSER의 이사인 샨 오 헤가티(Seán Ó hÉigeartaigh)와 코펜하겐대(University of Copenhagen)의 AI 연구원인 마티스 마스(Matthijs Maas)였다. 그들은 ‘초지능 대 블록체인(Superintelligence v Blockchain!)’이라는 제목의 괴짜 액션 영화 구상에 대한 농담을 했고, 보스트롬의 책에 나오는 시나리오에서 따온 ‘유니버설 페이퍼클립(Universal Paperclips)’이라는 온라인 게임에 대해 이야기했다. 그 게임에서는 종이 클립을 만들기 위해 마우스를 무한 반복해서 클릭해야 한다. 이는 기계가 사무용품을 생산하기 위해 다른 편법을 찾아 나서는 이유를 짐작하게 한다.

결국, 탈린이 있는 자리에서는 종종 그렇듯, 대화는 더 큰 질문으로 옮겨갔다. AI 안전성 연구의 궁극적인 목표는 케임브리지의 철학자이자 CSER의 공동 창업자인 휴 프라이스(Huw Price)가 말한 것처럼, “인지적 뿐만 아니라 윤리적으로도 초인적”인 기계를 만드는 것이다. 어떤 이들은 의문을 제기한다. AI가 우리를 지배하지 않기를 바란다면, 우리는 AI를 지배하기를 원하는가? 다시 말하면, AI는 권리를 가지는가? 탈린은 이것이 불필요한 의인화라고 믿는다. 이런 생각은 많은 AI 연구자들을 성가시게 하는 오해인, 지능과 의식이 동등하다는 가정에 기반한다. 그날 식사 전에 CSER 연구원인 호세 에르난데스-오랄로(José Hernández-Orallo)는 AI 연구자들 사이에서 의식(consciousness)은 ‘C욕설(C-word, 여성의 성기를 지칭하는 단어인 욕설의 첫 글자가 C라는 뜻에서 쓰이는 말)’이라고 농담했다. 그리고 ‘자유 의지(free will)’는 F욕설(F-word)”이라고 덧붙였다.

의식은 중요하지 않다고 탈린이 말했다. “자동 온도 조절 장치를 예로 들어 봅시다. 아무도 그 장치에 의식이 있다고 말하지 않을 것입니다. 다만 영하 30도로 설정된 방 안에서 그 장치와 대립해야 하는 것은 아주 불편한 일이죠.”

오 헤가티가 덧붙였다. “의식에 대해 걱정할 수 있다면 좋겠지만, 기술적 안전 문제를 먼저 해결하지 않는 한 우리가 의식을 걱정하는 사치는 부릴 여유는 없을 겁니다.”

탈린은 사람들이 초지능형 AI가 ‘무엇인지’에 지나치게 몰두하고 있다고 말했다. 그것은 어떤 형태를 하고 있을까? 우리는 하나의 AI에 의한 지배를 걱정해야 할까? 아니면, 한 무리의 AI를? 그는 강조한다. “우리의 관점에서 중요한 것은 AI가 ‘무엇을 하느냐’다”. 그리고 그는 여전히 그 문제가 인간에게 달려 있다고 믿는다 – 적어도 지금은.