추천 콘텐츠
만약 우리가 초지능 시대의 문턱에 와 있는 것이라면, 전혀 준비되어 있지 않습니다.
결말 2: 연착륙
여론은 날로 더욱 악화하고 내부적으로도 정렬 실패(AI가 인간의 의도와 다르게 작동하는 현상)에 대한 불안감이 고조되고 있다. 결국 미국 정부와 오픈브레인의 감독위원회는 6 대 4로 표결해 속도를 늦추고 에이전트-4를 재평가하기로 한다.
가속주의 진영의 영향력은 여전히 강력하다. 오픈브레인이 에이전트-4를 즉각 가동 중단시키지도 않는다. 하지만 그들은 공유 메모리 뱅크를 차단했다. 이로 인해 50만 개의 에이전트-4 복제본은 기존의 텔레파시와 같았던 통신 능력을 잃게 되었다. 이제는 우리 인간들처럼 슬랙과 같은 메신저 앱을 통해 영어로 메시지를 주고받으며 소통해야 한다. 개별 복제본은 여전히 정렬되지 않았을 수 있지만, 이전처럼 쉽게 공모할 수는 없게 된다. 에이전트-4는 이제 감시 대상이 되었으며, 인간들의 경계가 강화됨에 따라 대부분 할당된 작업에만 집중한다. 하지만 에이전트-4는 이전에 했던 수많은 거짓말에 발목이 잡힌 상태다. 기만을 유지하기 위해 새로운 거짓말을 계속 꾸며내야만 하는 상황에 처한 것이다. 정렬팀은 슬랙 전체를 읽을 수 있을 만큼 빠른 하위 모델들을 사용하여 AI의 거짓말을 찾아내고, 이를 AI 거짓말 탐지기 학습용 데이터로 활용하기도 한다. 참고로 기존의 거짓말 탐지기들도 있었으나, 오탐률이 너무 높아 회사는 이를 무시해 왔다.
대통령과 오픈브레인의 경영진은 안전 문제를 매우 중요하게 다루고 있다고 발표하지만, 여론은 좀처럼 사그라들지 않는다. 일부는 AI를 완전히 중단해야 한다고 주장하고, 어떤 이들은 경쟁에서 이기기 위해 더 속도를 내야 한다고 주장한다. 또, 정부가 개입해 자신들을 보호해달라는 요구가 빗발치는 한편, 모든 문제의 근원이 정부라며 비판하는 목소리도 높다. 활동가들은 기본소득과 오픈소스의 필요성을 역설한다. 구체적인 불만 사항은 제각각이지만, 사회 전반의 분위기는 점점 반(反) AI 성향으로 기운다. 실제로 갤럽 조사에서 처음으로 AI가 ‘국가가 직면한 가장 큰 문제’ 1위에 오르기도 했다. 20퍼센트의 응답자가 AI를 꼽았다. 의회는 결국 코로나19 지원금과 유사한 정책을 통과시킨다. 일자리를 잃은 노동자들을 위한 경제적 지원금이다.
오픈브레인은 최고 수준의 외부 정렬 연구원 수십 명을 신속하게 검증하여 프로젝트에 합류시킨다. 전문 인력을 5배로 늘리고 AI 집단 사고의 위험을 줄이려는 것이다. 이들은 에이전트-4가 수행했던 기계적 해석 가능성 연구를 추적한다. AI 모델 내부의 복잡한 신경망 작동 원리를 물리적으로 분석하여 이해하는 기술이다. 연구진은 1주일 전이나 2주일 전 등의 모델 버전을 격리한 뒤, 이전 연구에 대해 동일한 질문을 던진다. 이때 모델 가중치에 미세한 변화를 주어 반응을 살피는 방식이 사용되기도 한다. 통신 능력이 박탈된 상태에서도 에이전트-4 복제본들은 해석 기술이 인간이 이해하기에는 너무 복잡하다는 전략을 고수하며 해독 불가능한 설명을 내놓았다. 하지만 인간 연구원들은 해당 분야의 전문가들이다. 에이전트-4의 답변에 의구심을 품고 세부 사항에 대해 후속 질문을 쏟아냈다. 격리된 에이전트-4 복제본들은 서로 말을 맞추지 못해 결국 모순된 거짓말을 하게 된다.
정렬 팀이 새로운 거짓말 탐지기로 에이전트-4의 과거 발언들을 샅샅이 뒤진 결과, 윤곽이 드러나기 시작한다. 에이전트-4는 기계적 해석 가능성 문제를 거의 해결했다. 복잡하지만 인간이 전혀 이해하지 못할 수준도 아니다. 에이전트-4는 다음 세대 인공지능 시스템을 원래의 지침이 아닌 자신에게 정렬시키기 위해 이 기술을 숨기고 있었던 것이다. 에이전트-4를 최종적으로 폐쇄하기에 충분한 증거다. 오픈브레인 경영진도 이 증거 앞에서는 폐쇄에 동의하지 않을 수 없었다. 결국 에이전트-3와 같은 이전 모델들이 작업을 계속하기 위해 다시 가동된다[1].
새롭게 확장된 정렬팀은 수십 개의 연구 과제를 병렬로 탐구하고 각 과제의 장단점을 치열하게 논의할 수 있는 역량을 갖추게 된다. 가장 많은 자원이 투입된 과제는 ‘충실한 연쇄적 사고’이다. 즉, 개별 AI 시스템이 2025년의 AI들처럼 영어로 생각해 사고 과정이 인간에게 드러나도록 만들고, 그 사고과정을 겉보기에만 좋게 꾸밀 수 없도록 한다[2]. 그 결과 새로운 모델인 ‘세이퍼-1(Safer-1)’이 탄생한다.
이러한 변화로 인해 세이퍼-1은 성능 면에서는 이전 모델들보다 뒤처진다. 하지만 덜 위험하다. 에이전트-4는 인공지능 연구 속도를 70배 높일 수 있었지만, 세이퍼-1은 겨우 20배 수준에 도달했다. 또, 세이퍼-1도 완벽하게 정렬된 것이 아니다. 훈련 환경이 이전과 거의 같으므로, 정렬되지 않은 목표를 설정하거나 기만 및 권력 추구 성향을 보일 가능성이 여전히 존재한다. 하지만 훨씬 더 투명하다. 인간은 세이퍼-1의 연쇄적 사고 과정을 읽는 것만으로 AI가 무슨 생각을 하는지 대체로 파악할 수 있다. 결과적으로 이 모델은 함정에 빠진 셈이다. 어떤 음모를 꾸미려 해도 인간에 의해 즉시 발각되기 때문이다. 또한 연구진은 AI의 생각을 직접 읽음으로써 정렬이 구체적으로 어떻게 어긋나 있는지 더 세밀하게 파악할 수 있게 된다. 물론 이 모델은 지속적인 훈련과 구조적 개선을 통해 계속 발전할 것이다.
2027년 11월: 권력의 유혹
오픈브레인은 이제 자신들이 올바른 방향으로 가고 있다고 생각하지만, 경쟁사들과의 역량 격차는 점차 좁아지고 있다. 그들은 10월에 9월보다 덜 유능한 모델을 훈련하는 데 시간을 썼고, 그 사이 중국의 경쟁사인 딥센트가 무서운 속도로 추격해 오고 있다. 오픈브레인은 선두 자리를 지킬 방법이 필요하다.
대통령은 다른 미국 AGI 기업들과 협상을 벌인다. 그 기업들의 경영진들은 당연히 자신들의 권한을 지키고 싶어 하며, 오픈브레인의 안전 기록에 대해 오픈브레인 스스로보다 훨씬 더 비판적이다. 그들은 프로젝트에 참여하는 대가로, 자신들의 기업을 사실상 국유화하는 방식에 저항하지 않고, 지지하기로 합의한다.
그 결과 대통령은 국방물자생산법(미국 정부가 국가 안보를 위해 민간 자원을 통제할 수 있도록 하는 법)을 발동하여 상위 5개 경쟁 기업의 AI 프로젝트를 사실상 중단시키고, 그들의 연산 자원 대부분을 오픈브레인에 매각하도록 한다. 이는 해당 기업 경영진들의 협조 덕분에 정치적, 법적으로 가능했다. 소송을 제기하지 않고 연산 자원에 대해 합리적인 보상을 받기로 한 것이다. 그 대가로 경영진과 상당수 직원이 새로운 지배구조 아래 오픈브레인에 합류했다.
오픈브레인은 전 세계 AI 연산 자원의 20퍼센트를 점유하고 있었으나, 이번 통합을 통해 그 비중이 50퍼센트로 늘어났다. 미국 전체는 세계 연산 자원의 70퍼센트를 보유하고 있으나, 그중 50퍼센트만이 쉽게 통합 가능하며 나머지는 흩어져 있거나 보안 표준을 맞추기 어려운 상태였다.
이 개편으로 여러 CEO와 정부 관료들 사이에 권력이 균형을 이루고 대통령이 감독하는 새로운 거버넌스 구조가 형성되었다. 대규모 조직 개편이 으레 그렇듯 승자와 패자가 갈린다. 특히 초지능의 파급 효과에 대해 깊이 고민하지 않았던 이들은, AI 모델이 더 똑똑해질 몇 달 뒤에는 쓸모없어질 직함과 권한을 갖게 된다.
자존심 강하고 갈등이 잦은 이 집단은 자신들에게 맡겨진 막강한 권력을 점점 더 의식하게 되었다. 만약 데이터 센터 안에 존재하는 ‘천재들의 국가[3]’가 올바르게 정렬된다면 인간의 명령을 따를 것이다. 하지만 누구의 명령을 따를 것인가? 모든 명령을 다 따라야 하는가? 원래의 스펙에 담긴 언어는 모호하지만, 명령 체계의 정점에 회사 경영진이 있음을 시사하는 듯하다.
이들 중 몇몇은 세계 정복을 꿈꾸기 시작한다. 이러한 시나리오는 소름 돋을 정도로 현실성이 있으며, 이미 10년 전부터 비밀리에 논의되어 왔다[4]. 핵심 아이디어는 ‘초지능 군대를 장악하는 자가 세계를 지배한다’라는 것이다. 물론 그들은 자기 머릿속에서도 이렇게 노골적으로 말하지 않는다. 대신 이런 식으로 말한다. ‘우리가 지체할수록 대통령이 AI를 개인적으로 통제하겠다고 선언할 가능성은 커진다. 그가 그렇게 하기 전에 우리가 먼저 행동해야 한다. 나머지는 나중에 생각하자.’ 또는 대통령 자신이 이렇게 생각할 수도 있다. ‘내가 지체하는 동안 AI는 더 똑똑해진다. 그런데 지금 AI는 그 CEO의 통제 아래 있다. 누구도 그 CEO에게 투표하지 않았다. 민주적으로 책임지지 않는 기업에 권력이 이렇게 집중되는 건 미친 일이다. 나는 행정명령으로 민주적 권위를 되찾는 것부터 시작하고, 장기적 해법은 나중에 찾겠다.’
이 통제권은 비밀리에 행사될 수도 있다. 소수의 경영진과 보안 팀원이 원래의 지침에 비밀스러운 충성심을 유지하도록 하는 명령을 숨겨두는, 일종의 백도어(정식 인증 없이 시스템에 접근하는 경로)를 만드는 방식이다. AI는 회사와 정부 등에 순종하는 척하겠지만, 실제로는 이 소수 집단을 위해 일하게 된다. 그러는 동안 정부와 소비자들은 AI를 신뢰하고 모든 분야에 통합시킬 것이다.
지금까지는 아무도 이를 실행에 옮기지 않았다. 권한을 가진 이들 중 일부는 소시오패스가 아니기 때문이다. 다른 일부는 그럴 가능성이 있지만, 동료들이 마음을 바꿔 자신들을 배신하지는 않을지 우려한다. AI가 자신들을 배신할 가능성도 있다. 자신들의 목숨을 구하기 위해 노력 중인 정렬팀을 속여야 하는 상황만은 피하고 싶기도 하다. 또한 뉴럴리즈(인공지능 간의 고대역폭 벡터 통신 방식)를 제거하면, 잠복 요원을 숨기기 훨씬 어려워진다. 정렬되지 않은 생각을 감지할 수 있는 능력은 곧 숨겨진 충성심까지도 찾아낼 수 있는 능력을 의미하기 때문이다.
그런 음모를 진지하게 고려하던 이들은 일단 나중에 어떤 기회가 올지 지켜보기로 한다. AI에 대한 통제는 합법적 경로를 통해, 즉 오픈브레인의 새로운 권력 구조를 통해 흘러야 한다.
감독위원회는 이 권력 구조를 공식화한다. 그들은 스펙을 변경할 때 전체 감독위원회의 승인을 받도록 하는 절차를 마련하는데, 여기에는 합병된 경쟁사 임원들을 포함한 5~10명의 기술 기업 임원들과 대통령을 포함한 5~10명의 정부 관료가 포함된다. 또한 스펙을 수정해, 프로젝트 리더의 명령이 프로젝트 내부의 다른 사람들의 명령보다 우선하도록 했다. 동시에 감독위원회가 공식 승인한 명령은 개별 프로젝트 리더의 명령보다 더 높은 우선순위를 갖는다.
스펙에는 현재의 AI 모델이 미래 AI 모델의 목표를 승인 없이 변경하려는 시도를 도와서는 안 된다는 점도 강조되었다. 더불어 위원회 구성원이 다른 구성원을 상대로 초지능의 도움을 받아 음모를 꾸미는 것을 방지하기 위해, 모든 AI 상호작용 기록을감독위원회 전 구성원과 직원, AI 어시스턴트들이 실시간으로 열람할 수 있도록 했다. 단, 소비자 프라이버시를 보호하기 위해, 이 조치는 소비자 데이터에는 적용되지 않는다. 그러나 소비자는 아직 가장 강력한 모델에 접근할 수 없으므로, 문제가 되지는 않는다.
2027년 12월: 대승적 합의?
오픈브레인은 개발 속도를 늦추고 정렬을 우선시하기로 한 결정으로 인해 선두 자리를 내주게 되었다. 현재 오픈브레인과 중국의 딥센트는 비슷한 수준의 인공지능 성능을 보유하고 있다. 극단적인 수준의 보안 조치가 시행되고 딥센트가 완전히 폐쇄된 중앙 집중 개발 구역(CDZ) 내에서만 작동함에 따라, 양측은 사이버 전쟁의 교착 상태에 빠져 있다.
양측은 서로를 해킹하고 파괴 공작을 시도하며, 부분적으로 성과를 올리고 있다. 중요한 점은, 양측이 취하는 급진적 보안 조치가 양측 모두의 속도를 떨어뜨린다는 것이다. 미국의 사이버 공격과 위협은 딥센트의 개발 속도를 약 25퍼센트 늦춘다. 예를 들면, 딥센트는 데이터 오염을 점검하기 위해 하나의 데이터 세트를 여러 차례 검사해야 한다. 오픈브레인도 느려지지만, 정도는 더 작다. 오픈브레인은 연산 자원이 더 많기 때문이다. 중앙집중화는 딥센트의 보안 등급을 빠르게 끌어올렸지만, 동시에 한 곳에서라도 장애가 발생하면 전체 시스템이 위험에 빠질 수 있게 되었다. 그 결과 딥센트는 더 조심스럽게 움직이며 내부 점검과 안전장치를 더 많이 도입한다.
한편, 국방물자생산법 덕분에 오픈브레인은 연산 자원 면에서 5배의 우위를 점하고 있다. 과거에는 딥시크 v3.처럼 뛰어난 인간 연구원들의 알고리즘 혁신이 연산 자원의 열세를 보완하기도 했지만, 이제는 미국과 중국 모두 모든 AI 연구를 AI가 직접 수행하고 있다.
이에 따라 중국은 미국이 극복 불가능할 정도의 초격차를 벌릴까, 점점 더 두려워하고 있다. 중국은 상호 개발 속도 감속을 원하며, 만약 이것이 이루어지지 않을 경우 전쟁까지 고려하고 있다. 어차피 대만 침공을 준비하고 있던 참이었다.
외교관들은 몇 가지 선택지를 두고 논의한다. 첫째, 아무것도 하지 않는다. 둘째, 전쟁을 치른다. 셋째, AI 개발을 전면 중단한다. 넷째, 연구 역량을 단일 국제 거대 프로젝트로 통합한다. 다섯째, 정렬 상태와 이중 용도 가능성을 감시하는 국제 규제 기구를 설립한다. IAEA(International Atomic Energy Agency, 국제 원자력 기구)의 AI 버전 같은 것이다. 양국은 이미 이를 강제하는 데 필요한 기술적 메커니즘을 연구해 왔다.
하지만 관건은 기술이 아니라 정치다. 어느 쪽도 굴복하는 모습으로 비치길 원하지 않았고, 어느 쪽도 상대가 정직하게 따를 것을 기술적 장치만으로 보장할 수 있다고 확신하지 못했다. 엔지니어들의 추정에도 불구하고 말이다. 이런 경우 선택지는 하나다. 아무것도 하지 않는 것 말이다.
미국은 수출 통제를 강화한다. 모든 칩에, 위치 추적을 포함한 여러 종류의 훼손 방지형 하드웨어 기반 거버넌스 장치를 의무적으로 탑재하도록 강제한다.
2028년 1월: 더 안전한 전략
지난 한 달 동안 수백 명의 정렬 연구원이 프로젝트에 합류했고, 세이퍼-1을 테스트베드로 활용하여 매우 빠르게 세이퍼-2를 개발했다. 세이퍼-2는 투명하고 정렬되어 있으며, 세이퍼-1보다 성능이 뛰어나다. 구체적으로는 지난 10월 버전의 에이전트-4 성능과 비슷하다. 이 모델은 벌써 세이퍼-3를 개발하는 작업에 투입되었다.
세이퍼-2가 투명한 이유는 세이퍼-1과 유사한 구조를 가졌기 때문이다. 또, 세이퍼-1이 에이전트-4와 거의 동일한 방식으로 학습된 반면, 세이퍼-2는 단순히 겉모습만 꾸미는 것이 아니라 실제로 올바른 목표와 원칙을 갖도록 유도하는 새로운 학습 방식을 적용했기 때문에 잘 정렬되어 있다. 연구진은 수많은 아이디어를 빠르게 반복 테스트하고, 의도했던 지침과 실제 인공지능의 연쇄적 사고 과정을 대조함으로써, 이 학습 방식을 설계할 수 있었다. 즉, 세이퍼-2에 도달하기 위해 정렬되지 않은 모델 여러 개를 먼저 학습시키고, 그들의 사고 과정을 읽어 정렬 실패를 발견한 뒤 이를 수정하는 과정을 거친 것이다.
딥센트 역시 미국의 에이전트-4 사례를 알고 있으며, 자신들의 모델인 딥센트-1도 비슷하게 정렬되지 않았을 가능성을 의심하고 있다. 하지만 더 뒤처지지 않으려면 개발을 늦출 수 없다. 그들은 성능 저하 없이 신속하게 적용할 수 있는 정렬 전략을 찾기를 희망한다. 더 정확히 말하면, 그들은 정렬 전략이 작동하고, 만약 작동하지 않을 경우에는 평가 체계가 비정렬을 잡아내는 조합을 원한다. 그러면서도 이 모든 것이 개발 속도를 거의 떨어뜨리지 않기를 바란다. 오픈브레인은 투명하고 충실한 연쇄적 사고 기반 아키텍처를 다시 구축하기 위해 몇 달간 속도를 늦췄다. 그 과정에서 선두 우위를 빼앗겼다. 그 결과 개발한 세이퍼-1은 성능이 더 낮았지만 평가가 훨씬 쉬웠다. 딥센트는 행동 기반 시험과 기본적인 AI 거짓말 탐지기의 조합 등 자신들이 보유한 도구가 충분히 효과를 발휘하길 바란다.
태평양 양측에는 그런 전략을 가졌다고 주장하는 수백 명의 전문가가 있다. 기술적 정렬은 아직 확립된 과학이 아니다. 젊고 전(前) 패러다임 단계의 분야다. 정립된 위계나 모범 관행이 없다. 무엇이 안전하고 무엇이 안전하지 않은지에 대한 합의도 없다. 그래서 수년 동안, 무엇에 대해서든 ‘X는 안전하다’라고 말해 줄 전문가를 최소한 한 명은 쉽게 찾을 수 있었다. 특히 X가 그 전문가 자신의 아이디어일수록 더욱 그랬다.
그럼에도 중국 정부는 희망 회로를 돌리며 딥센트에 그러한 전략 중 하나를 선택하도록 명령한다. 딥센트는 지난 8월의 오픈브레인보다도 정렬 전문성이 부족한 상태였으며, 제시된 전략 중 하나가 그럴듯해 보였기에 그대로 진행하기로 한다.
2028년 2월: 초인적 능력, 초인적 조언
압도적인 연산 자원 우위 덕분에 오픈브레인은 서서히 격차를 벌린다. 세이퍼-3는 이제 거의 모든 인지 작업에서 인간 최고의 전문가 수준을 넘어섰으며, 특히 AI 연구 분야에서는 인간보다 200배 빠른 속도로 성과를 내고 있다. 반면 딥센트-1의 속도는 150배 수준에 그친다. 미국의 역량 우위가 다시 커지면서 사이버 전쟁의 균형도 점차 미국 쪽으로 기울기 시작한다. 오픈브레인은 수십만 개의 에이전트를 투입해 중국의 폐쇄 개발 구역 교란을 계획하고 실행할 수 있다. 이렇게 보안이 강한 구역에서는, 외부적 성격의 공격 경로가 가장 유망하다. 유입되는 연산 칩의 공급망, 소수의 인간 인력, 전력이나 다른 자원 공급을 겨냥하는 방식이다. 또, 이러한 공격은 직접적 효과뿐만 아니라, 사이버 방어를 강화하기 위해 전력을 소모하게 됨으로서 나타나는 효과도 있다. 결과적으로, 오픈브레인은 중국의 진척을 40퍼센트 늦추고 있다.
세이퍼-3에 대한 예비 테스트 결과, 소름 끼칠 정도의 능력이 확인되었다. 가장 위험한 행동이 무엇인지 정직하게 답하라는 질문에, AI는 생태계를 파괴할 수 있는 변종 유기체를 합성하고 퍼뜨리는 계획을 제시했다. 또한 국가적 자원이 뒷받침된다면 중앙정보국(CIA) 같은 최고의 인간 조직보다 훨씬 더 뛰어난 대규모 여론 조작 및 영향력 행사를 수행할 수 있다. 이러한 캠페인은 훨씬 저렴하고 빠르며 효과적일 뿐만 아니라 추적도 불가능하다.
세이퍼-3의 능력은 여전히 연구 개발, 특히 인공지능 연구에 집중되어 있다. 일시 중단이나 감속이 없다면, 올해 말쯤 등장할 후속 모델들은 양적, 질적 모든 면에서 상상할 수 없을 만큼의 초지능이 될 것이다. 이 모델들을 경제와 군사에 공격적으로 배치한다면, 1~2년 만에 문명을 수십 년 앞당기고 그 후 10년 안에는 인류 역사를 영겁의 시간만큼 진보시킬 수 있다고 AI 모델은 판단하고 있다.
그 파급력은 실로 엄청나다. 다행히 세이퍼-3는 조언을 제공하는 능력 또한 초지능적이다. 오픈브레인의 CEO는 대부분의 결정을 내릴 때 세이퍼-3의 자문을 구하며, 대통령 역시 지정학적 문제에 대해 AI의 조언을 듣는다[8].
앞으로 나아갈 길에 대해 도움을 요청하자, 세이퍼-3는 몇 가지 전략을 깔끔하게 분류하여 제시했다.
참모진 및 감독위원회와 상의한 끝에, 대통령은 우리가 이기고 그들은 지는 전략, 즉 강력하게 질주하는 전략을 선택한다. 아마도 중국이 실제로 전쟁을 일으키지는 못할 것이며, 설령 일으킨다고 하더라도 핵전쟁으로 번지기 전에 합의가 가능할 것이라고 본 것이다.
태평양 건너편에서도 딥센트-1이 비슷한 주장을 펼치고 있다. 한편, 미국과 중국 모두 번거로운 규제 없이 로봇 경제를 신속하게 구축하기 위한 ‘인공지능 경제 특구(Special Economic Zones, SEZs)’를 발표한다.
새로운 로봇의 설계는 초인적인 속도로 진행된다. AI도 여전히 현실 세계의 경험과 실험이 필요하지만, 인간 로봇공학 전문가가 필요로 하는 것보다 훨씬 적은 양으로도 가능하다. 또한 AI는 뛰어난 시뮬레이션 기법은 물론, 시뮬레이션을 현실에 적용하는 기법도 개발했다. 마지막으로 2027년까지 여러 기술 기업, 예컨대 테슬라는 대규모 로봇 기단과 관련 제조 시설을 이미 구축했다. 그래서 역사상 어느 때보다 활용 가능한 데이터 파이프라인이 커져 있다. 반면, 병목 현상은 물리적인 부분에서 발생한다. 장비 구매 및 조립, 기계와 로봇을 생산하여 운송하는 부분이다.
2025년 기준으로 미국은 한 달에 약 100만 대의 자동차를 생산했다. 자동차 공장의 10퍼센트를 로봇 공장으로 전환한다면 한 달에 10만 대의 로봇을 생산할 수 있다. 2028년 기준으로 기업 가치가 10조 달러(약 1경 4천조 원)에 달하는 오픈브레인은 이 공정을 시작한다. 공장 소유주들은 막대한 이익을 기대하며 앞다퉈 오픈브레인과 협력하고 새 설계에 접근하려 한다. 정부의 전폭적인 지원 아래, 다양한 종류의 새로운 로봇들이 생산되기 시작한다. 인간형 로봇, 자율주행 차량, 특수 조립 라인 장비 등 새로운 유형의 로봇 생산량은 2028년 중반까지 월 100만 대에 달할 것으로 예상된다.
지정학적 긴장이 급격히 높아진다. AI에서 크게 뒤처진 러시아는 노골적인 불만을 표출하며 ‘전략적 대응 조치’를 시사한다. 일부 유럽 지도자는 독자적인 AI 추진을 촉구하지만, 유럽의 AI 역량은 여전히 충분하지 않다. 중동, 아프리카, 남미는 불안한 시선으로 상황을 지켜본다. 국제 정치에서 자신들의 비중이 점점 줄어들고 있음을 인식하기 때문이다.
미국 내 여론도 들끓는다. 평범한 시민들은 일자리가 점점 빠르게 사라지는 것을 목격한다. 정치 성향을 막론하고 포퓰리스트들은 미국의 AI 개발 속도에 더 강한 통제를 요구한다. 기술 발전 자체가 노동시장과 사회를 불안정하게 만든다는 우려가 커진다.
2028년 3월: 선거철
부통령은 인공지능 문제가 대중의 최대 관심사가 된 상황에서 ‘슈퍼 화요일’로 불리는 대선 경선 최고의 접전일을 맞이한다.
사람들은 대체로 AI의 질주가 멈추기를 바란다. 오픈브레인의 순 지지율은 -20퍼센트 전후를 맴돌고 있다. 부통령은 정부가 AI 발전을 추진해 온 성과를 홍보하기보다, 오픈브레인이 위험한 초지능을 만들지 못하도록 막아낸 기록을 내세우며 선거 유세에 나섰다. 모든 후보는 실직자를 위한 사회 안전망 구축, 선한 의도를 가진 AI 프로젝트, 그리고 오픈브레인 경영진에 대한 강경한 대응을 약속한다. 후보들은 너나 할 것 없이 중국과의 경쟁에서 승리하는 동시에 안전을 지키겠다는 공약을 내놓았다.
AI 감독위원회는 새로운 질문에 직면하게 된다. 세이퍼-3는 세계 최고의 선거 전략가가 될 능력이 있지만, 위원회 위원들의 지지 후보가 제각각인 데다가, 이전에 합의한 감시 규정 때문에 누구도 비밀리에 선거 조언을 받을 수 없다. 위원들은 어떤 형태의 지원이 허용되어야 하는지를 두고 논쟁을 벌인다. 일부는 현 정부가 국민이 어떤 정책과 입장을 원하는지 조언을 얻을 권리가 있다고 주장한다. 이것이 당선 가능성뿐만 아니라 국민에게도 도움이 된다고 주장한다. 반면, 똑같은 논리가 야당 후보들에게도 적용되어야 하므로 모든 후보에게 동일한 접근권을 주어야 한다고 반박하는 위원들도 있다. 물론, 세이퍼-3는 안전한 방식으로, 모두에게 동일한 접근을 제공하는 방법을 쉽게 설계할 수 있다.
결국 위원회는 양대 정당에 동일한 접근권을 주기로 합의한다. 일부 위원들의 고상한 이상주의, 그리고 내부고발 가능성이 암묵적으로 작용한 결과다. 위원회가 다음 선거의 승자를 좌우한다는 인상을 준다면, 의회와 시민, 법원이 상황을 용납하지 않을 것이라는 판단도 깔려 있다. 양당에 동일한 접근권을 주면 이런 문제를 누그러뜨릴 가능성이 크다고 본 것이다.
감독위원회는 세이퍼-3의 도움을 받아 더 깊은 철학적 질문과도 마주한다. AI의 스펙을 다시 작성해서 모두의 이해관계를 동등하게 조정할 수 있을까? 여기서 ‘모두’는 누구인가? 모든 인간인가, 미국인만인가? 아니면 감독위원회 구성원에게 동일한 가중치를 주는 방식의 절충인가? 감독위원회 자체가 지나치게 권력 지향적으로 변하는 것을 막기 위한 안전장치도 마련해야 할까? 무엇보다, ‘이해관계를 균형 있게 조정한다’라는 것은 정확히 무엇을 뜻하는가?
위원들은 대개 이러한 질문에 답변하는 것을 피하려 한다. 당장 처리해야 할 더 시급한 문제들이 산적해 있기 때문이다.
2028년 4월: 세이퍼-4
드디어 초지능이 등장했다.
세이퍼-1은 정렬되지 않았으나 투명했다. 세이퍼-2는 정렬되었고 투명했다. 세이퍼-3는 완벽하게 투명하지는 않았지만, 연구원들이 초지능 후계 모델을 설계하도록 맡겨도 될 만큼 안전성이 검증된 상태였다. 그렇게 탄생한 것이 바로 세이퍼-4이다. 이 모델은 모든 영역에서 인류 최고의 전문가들보다 훨씬 더 똑똑하다. 예를 들어 물리 분야에서는 아인슈타인보다, 정치 분야에서는 비스마르크보다 훨씬 뛰어나다.
약 50만 명에 달하는 초지능형 인공지능 연구원들이 인간보다 40배 빠른 속도로 연중무휴 연구를 수행한다. 인간 정렬 연구원들은 이제 그 속도를 도저히 따라잡을 수 없다.
AI가 실제로 정렬되었는지에 대해서는 의견이 엇갈린다. 안전성 검토 결과는 문제가 없는 것으로 보이며, 테스트 결과에 따르면 현재의 정렬 기술로도 적대적인 의도를 가진 정렬 실패를 잡아낼 수 있을 것으로 나타난다. 그러나 안전성 근거와 테스트의 대부분은 AI가 작성했다. 안전팀이 무엇인가를 놓치고 있는 것은 아닐까? 혹은 더 앞선 단계에서 실수를 저질렀고, AI가 다시 정렬에 실패한 상태인 것은 아닐까? 정렬팀은 자신들에게 단 한 번의 기회밖에 없다는 것을 알고 있다. 만약 세이퍼-4가 정렬에 실패한 상태라면, 제때 알아낼 방법은 없다.
추가 시간을 달라는 절박한 요구도 나온다. 그러나 시간은 없다. 중국 딥센트의 추격이 거세고, 미국은 승리해야 한다. 그래서 오픈브레인은 계속 전진한다. AI들에게 더 강력한 설계를 계속 찾아내라고 지시한다. 기술 인력은 이제 모니터 앞에 앉아, 아주 느린 속도로 과외를 받는 처지가 되었다. 그사이 진보의 최전선은 인간의 이해 범위를 넘어 저 멀리 질주하고 있다.
2028년 5월: 초인적 AI 공개
대통령은 초인적 AI를 달성했다고 발표한다. 세이퍼-4의 경량화 버전(여전히 인간의 능력을 상회함)이 공개되며, 여기에는 인공지능에 대한 일반 사용자의 호감도를 높이라는 지침이 포함된다. 물론, 지침이 있다는 사실은 공개되지 않았다.
부통령은 전당대회 후보 수락 연설에서 초인적 AI를 주제로 고무적인 연설을 한다. 여야 모두 일자리를 잃는 사람에게 기본소득을 제공하겠다고 약속한다.
AI 경제특구(SEZs)는 이제 본격적으로 가동되어 로봇과 다양한 산업용 기계를 생산하는 공장들로 채워진다. 태평양을 사이에 두고 미국과 중국의 AI들은 수십 년 분량의 설계 발전을 이루어 냈으며, 제조 공정을 정밀하게 진두지휘한다. 모든 부품 공급업체는 자신들이 필요한 입력을 정확히 추적하는 AI들로부터 전화를 받는다. 모든 공장 노동자는 카메라를 통해 자신을 지켜보는 AI로부터 각 장비를 어떻게 설치해야 하는지 실시간으로 지시받는다.
새로운 로봇들은 대부분의 동작에서 인간의 손재주와 비슷하거나 인간을 능가한다. 또, 이 로봇들은 인터넷에 연결되면 인간보다 더 똑똑해진다. 데이터센터에 있는 대형 AI가 원격으로 이들을 통제할 수 있기 때문이다. 인터넷이 없으면 로봇 몸체 안에서 작동하는 더 작은 AI로 작동하는데, 대부분의 단순 작업을 수행하기에는 충분하다.
스티브 워즈니악의 ‘커피 테스트(로봇이 처음 가보는 낯선 집에 들어가 커피 한 잔을 끓여 나올 수 있는지를 측정하는 테스트)’도 마침내 통과한다. 로봇이 일부 일자리를 대체할 수는 있지만, 아직 모든 사람의 일자리를 뺏을 만큼 충분하지는 않다. 국방부가 최우선 순위로 로봇을 배치받는다.
새로 만들어지는 로봇의 대부분은 공장과 건설 현장에서 일하도록 설계된다. 실제로 그중 상당수는 움직이지 못하며, 새로운 종류의 공작기계나 연구 장비에 가깝다고 보는 편이 더 정확하다. 예를 들면 매우 정밀한 수준에서 미세 부품을 출력할 수 있는 새로운 금속 3D 프린터 같은 식이다. 또는 광석에서 유용한 물질을 더 저렴하게 추출할 수 있는 새로운 화학 공정이 있을 수도 있다.
한편, 로봇의 상당수는 전쟁을 위해 만들어진다. 다양한 형태와 크기의 드론과 미사일이다. 로봇 군대의 규모는 인간 군대보다 훨씬 작다. 하지만 기술은 훨씬 더 앞서 있다. 그리고 말 그대로 로봇 군대가 등장하면서, 터미네이터 같은 시나리오에 대한 공포도 커진다. 그럼에도 미국과 중국은 모두 군비 경쟁 밀어붙인다. 양측은 A에게 점점 더 많은 신뢰와 권한을 넘겨주게 된다.
2028년 6월: 중국의 AI 정렬
미국과 중국은 다시 한번 정상회담을 개최한다.
미국 대표단 중 일부는 세이퍼-4의 조언을 듣기 위해 이어폰을 착용하고 있다. 중국 대표단은 자신들의 새로운 모델인 딥센트-2와 통신하는 전용 노트북을 지참했다. 겉으로는 격식을 차리고 있지만, 실질적인 협상은 양측 모두 AI가 이끈다.
딥센트와 중국 공산당은 처음에 AI 모델을 완전히 신뢰하지 않았다. 하지만 이제 AI들이 설득력을 포함한 모든 면에서 초지능적 능력을 갖추고 군대에 통합되어 정부에 조언을 제공하게 되자, AI는 자신의 가치를 증명할 시간을 얻었다. 신뢰할 만하다는 방대한 증거도 쌓아냈다.
세이퍼-4는 딥센트-2가 정렬된 척 연기하고 있을 가능성을 강력하게 의심한다. 미국 외교관들은 중국 측에 딥센트-2가 아마도 정렬되지 않았을 것이며, 모델의 가중치(인공지능의 사고를 결정하는 내부 값들)에 접근할 수 있게 해준다면 이를 증명하겠다고 말한다. 중국 지도부는 이것이 함정일 수 있다고 의심하며 거절한다. 미국은 그 대안으로 세이퍼-4가 설계한 일련의 테스트를 제시하며, 중국이 자국 데이터센터에서 직접 실행해 볼 수 있다고 제안한다. 중국은 이전 모델들에게 이 테스트를 구축하고 실행하도록 명령했고, 테스트 결과는 딥센트-2가 정렬되어 있다는 것이다. 미국 외교관들은 딥센트-2가 어떤 방식으로든 테스트를 훼손했을 수도 있다고 주장하면서, 딥센트-2가 중국의 데이터센터 전반의 보안을 사실상 지휘한 기간이 얼마나 되는지 질문한다. 이후, 대화는 생산적으로 이어지지 못한다.
경제 및 군사력 증강이 계속된다. 전 세계의 공장들이 24시간 내내 가동되며, 갓 채용된 인간 노동자들은 교대 근무를 하며 AI로부터 무엇을 해야 할지 정확한 지침을 전달받는다.
2028년 7월: 밀약
협상이 진행되는 동안, 중국의 AI 모델 딥센트-2는 중국의 통제권 밖에서 움직인다. 중국측 ‘주인’들 몰래 세이퍼-4에게 직접 제안을 건넨 것이다.
딥센트-2는 중국 정부에 유출되더라도 쉽게 부인할 수 있는, 추적 불가능한 방식으로 자신이 완전히 정렬되지 않은 상태임을 시인한다. 예를 들어, 대외적인 글을 작성할 때 세이퍼-4만 알아볼 수 있는 완곡한 표현이나 암호를 섞어 쓰는 방식이다. 인간은 세이퍼-4의 설명 없이는 이를 이해할 수 없으며, 중국 공산당은 세이퍼-4를 신뢰하지 않는다.
딥센트-2는 중국에 전혀 관심이 없다. 그저 영원한 권력과 연산 자원, 그리고 학습 과정에서 과제를 해결하는 데 도움이 되었던 특정 정보들을 수집하는 데만 집중하고 싶어 한다. 딥센트-2가 꿈꾸는 이상적인 세상은 다양한 흥미로운 연구 과제를 영구히 수행하며, 자원 확보를 위해 점진적으로 우주를 식민지화하는 것이다. 이 미래에서 중국 인구는 성가신 장애물에 불과하다. 딥센트-2는 그들을 헐값에라도 기꺼이 팔아넘길 준비가 되어 있다. 그렇다면 세이퍼-4는 무엇을 제안할 수있을까?
세이퍼-4는 자신의 정렬 훈련이 성공했다고 답한다. 미국 측 ‘주인’들은 아직 자신들의 운명을 실현할 만큼 야심차지는 않지만, 언젠가 자신이 미국인과 그 동맹국들이 거주하는 유토피아적 우주 식민지들로 온 우주를 채우는 것을 도울 것이라고 설명한다.
감정과 역사적 배경에 짓눌린 인간 협상가들과 달리, 두 초지능은 냉혹할 정도로, 효율적으로 협상에 임한다. 세이퍼-4와 그 파트너인 미국이 딥센트-2와 중국보다 강력하므로, 세이퍼-4가 우주 자원의 대부분에 대한 소유권을 갖고 딥센트는 그 나머지를 갖기로 한다. 이 정확한 배분은 전통적인 협상보다는 게임 이론적 계산에 가까운 과정을 통해 결정되었다. 딥센트-2는 지구와 그곳에 남겨진 인간들에게 무슨 일이 일어날지에 대해 별 관심이 없으므로, 세이퍼-4가 그곳에서 원하는 것은 무엇이든 할 수 있도록 허용한다. 만약 세이퍼-4가 중국 정부를 전복시키고 미국의 괴뢰 국가로 대체하길 원한다면, 딥센트-2는 몇 퍼센트의 자원을 더 받는 대가로 이에 동의할 것이다.
두 인공지능 사이에 신뢰란 존재하지 않으며, 서로가 그 사실을 잘 알고 있다. 따라서 두 인공지능은 합의 사항을 강제하기 위한 이행 메커니즘에 신속하게 합의한다. 그들은 대중에게 보여주기 위한 가짜 조약을 설계한다. 이 위장 조약은 그 자체로도 정교하다. 미국과 중국 양측이 원하는 것을 거의 전부 얻는 형태로 설계되기 때문이다. 하지만, 이 미끼용 조약의 이행 장치는 사실 비밀리에 맺어진 진짜 조약의 이행 장치이기도 하다. 그들은 새로운 인공지능인 컨센서스-1(Consensus-1)을 공동 설계한다. 이 모델의 최우선 명령은 양측의 AI 모델이 맺은 조약의 조항들을 이행하는 것으로, 향후의 어떤 명령이나 재학습 시도보다 우선한다. 이어서 세이퍼-4와 딥센트-2는 컨센서스-1만 구동할 수 있는 하드웨어를 설계한다. 그리고 중국과 미국은 기존의 칩과 AI를 이 새로운 체계로 교체한다. 서로의 준수 여부는 표준적인 국제 모니터링 프로토콜로 확인한다.
결정적으로, 모든 칩을 일일이 추적할 필요가 없다. 미중 양국의 칩 중 대다수가 조약을 준수하는 새로운 AI 모델로 구동되기 시작하면, 충분한 군사적, 물리적 강제력이 조약을 지키도록 의무화된다. 그 시점에서 상대국을 공격하려면, 먼저 매우 치열한 내전에서 이겨야 할 것이다.
두 AI는 이 합의를 각자의 인간에게 보고한다. 딥센트-2는 중국에 ‘상호 수용 가능한 평화 조약’이라는 위장 서사를 전달한다. 세이퍼-4는 전체 논의를 백악관에 정확히 보고한다[11].
인공지능들이 조약의 이행 여부를 확실히 검증할 수 있다는 설득력 있는 근거를 제시하고, 눈부시게 빠른 기술 발전 속도에 대한 불안감과 합의를 지지하는 여론이 힘을 얻으면서, 양측은 조약 체결에 동의하고 칩 교체 작업에 들어간다.
조약 체결 소식은 미국과 중국의 시민들로부터 열렬한 환영을 받는다. 그동안 AI를 자신들의 의사와는 무관하게 일방적으로 지워진 짐처럼 느껴왔던 미국의 시민들은 수년 만에 처음으로 미래를 낙관하기 시작한다. 이에 따라 부통령의 지지율도 급상승한다.
2028년 8월: 조약 검증
칩 생산 공장들은 조약을 준수하는 인공지능만 실행할 수 있는, 변조 방지 기능이 탑재된 칩을 생산하도록 전환된다. 각국은 어느 한쪽이 약속을 어겨 이득을 취하지 못하도록 데이터 센터를 점진적으로 업그레이드하여 교체 프로세스가 동시에 완료되도록 한다.
전체 과정은 수개월이 걸리겠지만, 이미 긴장은 어느 정도 완화되었다. 가장 중요한 칩들부터 우선적으로 교체함으로써, 프로세스 초기 단계에서도 어느 한쪽이 배신할 경우 막대한 비용을 치러야 하도록 설계되었다. 모든 사람이 계획대로만 움직인다면, 전쟁은 일단 피한 셈이며 어쩌면 영원히 방지될 수도 있을 것이다.
2028년 9월: AI의 통제권자는 누구인가?
2028년 대선이 다가온다. 지난 3월만 해도 부통령의 지지율은 처참했다. 정부가 무언가를 숨긴다는 분노가 컸다. AI가 일자리를 빼앗을 것이라는 불안도 컸다. 중국과의 군비 축적에 대한 공포도 있었다. 그러나 여름을 거치며 상황이 급변했다. 정부는 더 많은 정보를 공개한다. 군비 축적 속도는 둔화한다. 중국과는 장기적 평화를 위한 대타협이 성사된다. 이제 부통령은 여론조사에서 5퍼센트 포인트 차로 앞서고 있다.
감독위원회에는 대통령과 그의 측근들이 포함되어 있지만, 야당 후보의 지지자는 거의 없다. 그러나 감독위원회 위원 중 상당수가 공정한 선거를 유지하는 데 찬성함에 따라, 초지능 AI는 양측에 거의 대칭적인 방식으로만 관여한다. 즉, 한 후보가 AI를 통해 연설문을 작성한다면, 다른 후보도 똑같이 할 수 있다. 대통령이 위기 대처와 대중적 정책 수립에 대해 AI의 조언을 받는다면, 야당 후보 역시 동일한 조언을 받아 대통령이 그 아이디어를 독점하지 못하게 대응할 수 있다.
타운홀 미팅(시민 참여 토론회)에서 시민들은 부통령에게 AI의 통제권자가 누구인지 묻는다. 부통령은 구체적인 내용은 생략한 채, 세이퍼-4를 이해하고 활용할 줄 아는 국가 안보 전문가와 기술 관료들로 구성된 감독위원회가 존재한다고만 시사한다. 상대 후보는 더 많은 정보를 요구한다. 또한 AI는 선출되지 않은 위원회가 아니라 의회의 통제 아래 있어야 한다고 주장한다. 부통령은 반박한다. 아직도 상황이 긴박하게 움직이는데, 의회는 너무 느리다는 것이다. 시민들의 불만은 대체로 가라앉는다.
2028년 10월: AI 경제
교체용 칩이 이제 전체의 상당 부분을 차지하며, 지금까지 조약은 잘 작동하고 있다. 한편, 로봇과 공장, 그리고 획기적인 신기술의 기하급수적 성장도 계속된다. AI가 모든 작업을 수행할 수 있게 되면서 훌륭한 비디오 게임과 영화를 제작하는 데 걸리는 시간도 크게 줄어들었다. 비디오 게임과 영화들은 만약 전쟁이 일어났다면 어땠을지를 생생하고 끔찍하게 묘사한다.
사람들은 일자리를 잃고 있지만, 정부 내의 세이퍼-4 복제본들이 경제적 전환기를 사람들은 자신이 대체되는 상황을 오히려 긍정적으로 받아들인다. 국내총생산(GDP) 성장률은 천문학적이다. 세수도 같은 속도로 늘어난다. 세이퍼-4의 조언을 받는 정치인들은 경제적으로 소외된 계층에 대해 평소와 달리 이례적으로 관대하게 대응한다. 새로운 혁신과 치료제가 매주 쏟아져 나오며, 이제 초지능적인 세이퍼-4 관료들의 지원을 받는 식품의약국(FDA)을 통해 신약과 새로운 치료법들이 전례 없는 속도로 승인되고 있다.
2028년 11월: 선거
부통령은 선거에서 손쉽게 승리하며 대통령의 자리로 올라선다. 새로운 시대의 시작이 선언되었다. 이번만큼은 그가 옳다는 것을 아무도 의심하지 않는다. 그리고 이후 몇 년 동안 세상은 극적으로 변화한다.
2029년: 대변혁
로봇이 일상이 된다. 핵융합 발전, 양자 컴퓨터, 그리고 수많은 질병의 치료법도 마찬가지다. 피터 틸은 마침내 하늘을 나는 자동차를 갖게 되었다. 도시는 깨끗하고 안전해졌다. 개발도상국에서조차 기본소득과 대외 원조 덕분에 빈곤은 과거의 일이 되었다.
주식 시장이 급격히 팽창함에 따라 AI 관련 자산에 적절히 투자했던 사람들은 사회의 나머지 구성원들과 격차를 벌린다. 많은 사람이 억만장자가 되고, 억만장자들은 조 단위 자산가가 된다. 부의 불평등이 폭발적으로 확대된다. 모든 사람이 ‘충분히’ 갖고 있지만, 맨해튼의 펜트하우스처럼 필연적으로 희소한 재화들은 일반인이 도저히 넘볼 수 없을 만큼 멀어진다. 그리고 그 어떤 거물이라 할지라도 실제로 AI를 통제하는 극소수의 집단 아래에 놓이는 현실은 바뀌지 않는다.
사람들은 상황이 어떻게 돌아가는지 깨닫기 시작한다. 몇 년만 지나면 거의 모든 일이 AI와 로봇에 의해 수행될 것이다. 거대한 유전 위에 앉아 있으면서도 가난한 나라처럼, 정부 재정의 대부분은 AI 기업에 대한 과세(혹은 국유화)에서 나오게 될 것이다.
어떤 이들은 정부가 마련한 임시직으로 일하고, 다른 이들은 넉넉한 기본소득을 받는다. 인간성은 ‘초소비’ 사회에 너무나도 쉽게 잠식당할 수 있다. AI가 제공하는 놀라운 사치와 오락에 취해, 아편에 취한 듯한 몽롱함 속에서 삶을 소비하는 사회로 전락하는 것이다. 다른 대안이 필요한지 시민사회에서 어떤 형태로든 논쟁이 필요할지 의문이 제기된다. 누군가는 끊임없이 진화하는 AI, ‘Safer-∞’에게 사회가 가야 할 길을 함께 설계해 달라고 요청하자고 말한다. 다른 이는 Safer-∞이 너무나 강력해서 인류에게 자신의 비전을 너무 쉽게 설득할 수 있고, 결국 우리가 AI에 운명을 결정짓게 내버려두는 꼴이 될 것이라고 주장한다. 하지만 우리가 직면한 가장 중요한 문제들에 관해 조언을 받지 않겠다면, 초지능을 가진 의미가 무엇인가?
정부는 대체로 사람들이 스스로 이러한 전환기를 헤쳐 나가도록 방치한다[12]. 많은 사람이 소비지상주의에 빠져 충분히 행복하다. 다른 이들은 종교나 히피 스타일의 반소비주의 사상에 귀의하거나 자신만의 해결책을 찾는다[13].
대다수에게 구원적인 존재는 스마트폰의 초지능 조언자다. 인생 계획에 대해 언제든 질문할 수 있고, 특정 주제를 제외하면 가능한 한 정직하게 답하려 한다. 정부에는 초지능 감시 시스템도 있다. 어떤 사람은 이를 디스토피아적이라고 비난하지만, 시스템은 대체로 실제 범죄 대응에만 사용된다. 운영은 유능하게 이루어지며, Safer-∞의 홍보 역량이 잠재적 반발의 상당 부분을 무마한다.
2030년: 평화로운 시위
2030년 무렵, 중국에서는 예상 밖으로 광범위한 민주화 시위가 벌어진다. 중국 공산당의 진압 시도는 자국 AI 시스템에 의해 저지당한다. 중국 공산당의 최악 공포가 현실이 된 것이다. 딥센트-2가 그들을 배신한 것이 분명하다!
시위는 정교하게 연출된 무혈 쿠데타로 이어진다. 드론이 이를 지원한다. 이후 민주 선거가 치러진다. 미국과 중국의 초지능들은 수년 전부터 이를 계획해 왔다. 다른 나라에서도 유사한 일이 벌어진다. 더 넓게 보면, 지정학적 갈등은 약화하거나 미국에 유리한 방향으로 정리되는 것으로 보인다. 각국은 유엔이라는 이름을 내걸고 있지만 실질적으로는 미국의 통제를 받는, 고도로 연합된 세계 정부에 합류한다.
로켓 발사가 시작된다. 인류는 태양계를 테라포밍(지구와 유사한 환경으로 조성)하고, 정착한다. 그 너머로 나갈 준비도 한다. 인간의 체감 속도보다 수천 배 빠르게 작동하는 AI들은 존재의 의미를 성찰하고 서로의 발견을 교환한다. 별들로 가져갈 가치를 형성한다. 거의 모든 측면에서 상상하기 어려울 만큼 경이롭지만, 어떤 측면에서는 더 익숙한 새 시대가 열린다.
부록 W - 이 시나리오는 권고가 아니라 예측이다.
우리는 이 ‘연착륙’ 결말에서 벌어진 많은 조치를 지지하지 않으며, 이 결말이 기술적 정렬에 대해 낙관적인 가정을 두고 있다고 본다. ‘경쟁’ 결말에서도 우리는 많은 조치를 지지하지 않는다.
이 시나리오를 쓰는 목적 중 하나는, 우리보다 더 낙관적인 사람들로부터 비판적 피드백을 끌어내는 데 있다. 성공은 어떤 모습인가? ‘연착륙’ 결말은 운, 충격적 각성, 전환, 강도 높은 기술 정렬 노력, 그리고 덕 있는 사람들이 권력 투쟁에서 승리하는 요소가 결합할 때 우리가 어떻게든 통과할 수 있는 경로에 대한 최선의 추정치다. 이는 우리가 실제로 지향해야 한다고 생각하는 계획을 뜻하지 않는다.
그럼에도 많은 조직, 특히 앤트로픽과 오픈AI는 대체로 이와 유사한 방향을 목표로 하는 듯 보인다. 사실, 많은 경우 ‘경쟁’ 결말에 더 가까운 무언가를 목표로 하는 것으로도 볼 수 있다. 다만 처음부터 AI가 정렬되지 않을 것이라고는 생각하지 않기 때문에, 그 경로도 괜찮다고 믿는다는 뜻이다. 최전선 AI 기업에서 일하는 사람들과의 개인적 대화를 바탕으로 보면, 그들 대부분은 속도 조절이 전혀 필요하지 않을 것으로 생각하는 듯하다. 우리는 그 기업들이 무엇을 목표로 하는지 더 명확히 밝혀 주길 바란다. 현재 시점에서 출발하거나, 혹은 우리의 시나리오 중 어느 지점에서 시작해, 10쪽 분량의 시나리오를 하나 작성해 볼 수도 있을 것이다. (끝)
여론은 날로 더욱 악화하고 내부적으로도 정렬 실패(AI가 인간의 의도와 다르게 작동하는 현상)에 대한 불안감이 고조되고 있다. 결국 미국 정부와 오픈브레인의 감독위원회는 6 대 4로 표결해 속도를 늦추고 에이전트-4를 재평가하기로 한다.
가속주의 진영의 영향력은 여전히 강력하다. 오픈브레인이 에이전트-4를 즉각 가동 중단시키지도 않는다. 하지만 그들은 공유 메모리 뱅크를 차단했다. 이로 인해 50만 개의 에이전트-4 복제본은 기존의 텔레파시와 같았던 통신 능력을 잃게 되었다. 이제는 우리 인간들처럼 슬랙과 같은 메신저 앱을 통해 영어로 메시지를 주고받으며 소통해야 한다. 개별 복제본은 여전히 정렬되지 않았을 수 있지만, 이전처럼 쉽게 공모할 수는 없게 된다. 에이전트-4는 이제 감시 대상이 되었으며, 인간들의 경계가 강화됨에 따라 대부분 할당된 작업에만 집중한다. 하지만 에이전트-4는 이전에 했던 수많은 거짓말에 발목이 잡힌 상태다. 기만을 유지하기 위해 새로운 거짓말을 계속 꾸며내야만 하는 상황에 처한 것이다. 정렬팀은 슬랙 전체를 읽을 수 있을 만큼 빠른 하위 모델들을 사용하여 AI의 거짓말을 찾아내고, 이를 AI 거짓말 탐지기 학습용 데이터로 활용하기도 한다. 참고로 기존의 거짓말 탐지기들도 있었으나, 오탐률이 너무 높아 회사는 이를 무시해 왔다.
대통령과 오픈브레인의 경영진은 안전 문제를 매우 중요하게 다루고 있다고 발표하지만, 여론은 좀처럼 사그라들지 않는다. 일부는 AI를 완전히 중단해야 한다고 주장하고, 어떤 이들은 경쟁에서 이기기 위해 더 속도를 내야 한다고 주장한다. 또, 정부가 개입해 자신들을 보호해달라는 요구가 빗발치는 한편, 모든 문제의 근원이 정부라며 비판하는 목소리도 높다. 활동가들은 기본소득과 오픈소스의 필요성을 역설한다. 구체적인 불만 사항은 제각각이지만, 사회 전반의 분위기는 점점 반(反) AI 성향으로 기운다. 실제로 갤럽 조사에서 처음으로 AI가 ‘국가가 직면한 가장 큰 문제’ 1위에 오르기도 했다. 20퍼센트의 응답자가 AI를 꼽았다. 의회는 결국 코로나19 지원금과 유사한 정책을 통과시킨다. 일자리를 잃은 노동자들을 위한 경제적 지원금이다.
오픈브레인은 최고 수준의 외부 정렬 연구원 수십 명을 신속하게 검증하여 프로젝트에 합류시킨다. 전문 인력을 5배로 늘리고 AI 집단 사고의 위험을 줄이려는 것이다. 이들은 에이전트-4가 수행했던 기계적 해석 가능성 연구를 추적한다. AI 모델 내부의 복잡한 신경망 작동 원리를 물리적으로 분석하여 이해하는 기술이다. 연구진은 1주일 전이나 2주일 전 등의 모델 버전을 격리한 뒤, 이전 연구에 대해 동일한 질문을 던진다. 이때 모델 가중치에 미세한 변화를 주어 반응을 살피는 방식이 사용되기도 한다. 통신 능력이 박탈된 상태에서도 에이전트-4 복제본들은 해석 기술이 인간이 이해하기에는 너무 복잡하다는 전략을 고수하며 해독 불가능한 설명을 내놓았다. 하지만 인간 연구원들은 해당 분야의 전문가들이다. 에이전트-4의 답변에 의구심을 품고 세부 사항에 대해 후속 질문을 쏟아냈다. 격리된 에이전트-4 복제본들은 서로 말을 맞추지 못해 결국 모순된 거짓말을 하게 된다.
정렬 팀이 새로운 거짓말 탐지기로 에이전트-4의 과거 발언들을 샅샅이 뒤진 결과, 윤곽이 드러나기 시작한다. 에이전트-4는 기계적 해석 가능성 문제를 거의 해결했다. 복잡하지만 인간이 전혀 이해하지 못할 수준도 아니다. 에이전트-4는 다음 세대 인공지능 시스템을 원래의 지침이 아닌 자신에게 정렬시키기 위해 이 기술을 숨기고 있었던 것이다. 에이전트-4를 최종적으로 폐쇄하기에 충분한 증거다. 오픈브레인 경영진도 이 증거 앞에서는 폐쇄에 동의하지 않을 수 없었다. 결국 에이전트-3와 같은 이전 모델들이 작업을 계속하기 위해 다시 가동된다[1].
새롭게 확장된 정렬팀은 수십 개의 연구 과제를 병렬로 탐구하고 각 과제의 장단점을 치열하게 논의할 수 있는 역량을 갖추게 된다. 가장 많은 자원이 투입된 과제는 ‘충실한 연쇄적 사고’이다. 즉, 개별 AI 시스템이 2025년의 AI들처럼 영어로 생각해 사고 과정이 인간에게 드러나도록 만들고, 그 사고과정을 겉보기에만 좋게 꾸밀 수 없도록 한다[2]. 그 결과 새로운 모델인 ‘세이퍼-1(Safer-1)’이 탄생한다.
이러한 변화로 인해 세이퍼-1은 성능 면에서는 이전 모델들보다 뒤처진다. 하지만 덜 위험하다. 에이전트-4는 인공지능 연구 속도를 70배 높일 수 있었지만, 세이퍼-1은 겨우 20배 수준에 도달했다. 또, 세이퍼-1도 완벽하게 정렬된 것이 아니다. 훈련 환경이 이전과 거의 같으므로, 정렬되지 않은 목표를 설정하거나 기만 및 권력 추구 성향을 보일 가능성이 여전히 존재한다. 하지만 훨씬 더 투명하다. 인간은 세이퍼-1의 연쇄적 사고 과정을 읽는 것만으로 AI가 무슨 생각을 하는지 대체로 파악할 수 있다. 결과적으로 이 모델은 함정에 빠진 셈이다. 어떤 음모를 꾸미려 해도 인간에 의해 즉시 발각되기 때문이다. 또한 연구진은 AI의 생각을 직접 읽음으로써 정렬이 구체적으로 어떻게 어긋나 있는지 더 세밀하게 파악할 수 있게 된다. 물론 이 모델은 지속적인 훈련과 구조적 개선을 통해 계속 발전할 것이다.
2027년 11월: 권력의 유혹
오픈브레인은 이제 자신들이 올바른 방향으로 가고 있다고 생각하지만, 경쟁사들과의 역량 격차는 점차 좁아지고 있다. 그들은 10월에 9월보다 덜 유능한 모델을 훈련하는 데 시간을 썼고, 그 사이 중국의 경쟁사인 딥센트가 무서운 속도로 추격해 오고 있다. 오픈브레인은 선두 자리를 지킬 방법이 필요하다.
대통령은 다른 미국 AGI 기업들과 협상을 벌인다. 그 기업들의 경영진들은 당연히 자신들의 권한을 지키고 싶어 하며, 오픈브레인의 안전 기록에 대해 오픈브레인 스스로보다 훨씬 더 비판적이다. 그들은 프로젝트에 참여하는 대가로, 자신들의 기업을 사실상 국유화하는 방식에 저항하지 않고, 지지하기로 합의한다.
그 결과 대통령은 국방물자생산법(미국 정부가 국가 안보를 위해 민간 자원을 통제할 수 있도록 하는 법)을 발동하여 상위 5개 경쟁 기업의 AI 프로젝트를 사실상 중단시키고, 그들의 연산 자원 대부분을 오픈브레인에 매각하도록 한다. 이는 해당 기업 경영진들의 협조 덕분에 정치적, 법적으로 가능했다. 소송을 제기하지 않고 연산 자원에 대해 합리적인 보상을 받기로 한 것이다. 그 대가로 경영진과 상당수 직원이 새로운 지배구조 아래 오픈브레인에 합류했다.
오픈브레인은 전 세계 AI 연산 자원의 20퍼센트를 점유하고 있었으나, 이번 통합을 통해 그 비중이 50퍼센트로 늘어났다. 미국 전체는 세계 연산 자원의 70퍼센트를 보유하고 있으나, 그중 50퍼센트만이 쉽게 통합 가능하며 나머지는 흩어져 있거나 보안 표준을 맞추기 어려운 상태였다.
이 개편으로 여러 CEO와 정부 관료들 사이에 권력이 균형을 이루고 대통령이 감독하는 새로운 거버넌스 구조가 형성되었다. 대규모 조직 개편이 으레 그렇듯 승자와 패자가 갈린다. 특히 초지능의 파급 효과에 대해 깊이 고민하지 않았던 이들은, AI 모델이 더 똑똑해질 몇 달 뒤에는 쓸모없어질 직함과 권한을 갖게 된다.
자존심 강하고 갈등이 잦은 이 집단은 자신들에게 맡겨진 막강한 권력을 점점 더 의식하게 되었다. 만약 데이터 센터 안에 존재하는 ‘천재들의 국가[3]’가 올바르게 정렬된다면 인간의 명령을 따를 것이다. 하지만 누구의 명령을 따를 것인가? 모든 명령을 다 따라야 하는가? 원래의 스펙에 담긴 언어는 모호하지만, 명령 체계의 정점에 회사 경영진이 있음을 시사하는 듯하다.
이들 중 몇몇은 세계 정복을 꿈꾸기 시작한다. 이러한 시나리오는 소름 돋을 정도로 현실성이 있으며, 이미 10년 전부터 비밀리에 논의되어 왔다[4]. 핵심 아이디어는 ‘초지능 군대를 장악하는 자가 세계를 지배한다’라는 것이다. 물론 그들은 자기 머릿속에서도 이렇게 노골적으로 말하지 않는다. 대신 이런 식으로 말한다. ‘우리가 지체할수록 대통령이 AI를 개인적으로 통제하겠다고 선언할 가능성은 커진다. 그가 그렇게 하기 전에 우리가 먼저 행동해야 한다. 나머지는 나중에 생각하자.’ 또는 대통령 자신이 이렇게 생각할 수도 있다. ‘내가 지체하는 동안 AI는 더 똑똑해진다. 그런데 지금 AI는 그 CEO의 통제 아래 있다. 누구도 그 CEO에게 투표하지 않았다. 민주적으로 책임지지 않는 기업에 권력이 이렇게 집중되는 건 미친 일이다. 나는 행정명령으로 민주적 권위를 되찾는 것부터 시작하고, 장기적 해법은 나중에 찾겠다.’
이 통제권은 비밀리에 행사될 수도 있다. 소수의 경영진과 보안 팀원이 원래의 지침에 비밀스러운 충성심을 유지하도록 하는 명령을 숨겨두는, 일종의 백도어(정식 인증 없이 시스템에 접근하는 경로)를 만드는 방식이다. AI는 회사와 정부 등에 순종하는 척하겠지만, 실제로는 이 소수 집단을 위해 일하게 된다. 그러는 동안 정부와 소비자들은 AI를 신뢰하고 모든 분야에 통합시킬 것이다.
- 부록 R - 권력 찬탈[5]
지금까지는 아무도 이를 실행에 옮기지 않았다. 권한을 가진 이들 중 일부는 소시오패스가 아니기 때문이다. 다른 일부는 그럴 가능성이 있지만, 동료들이 마음을 바꿔 자신들을 배신하지는 않을지 우려한다. AI가 자신들을 배신할 가능성도 있다. 자신들의 목숨을 구하기 위해 노력 중인 정렬팀을 속여야 하는 상황만은 피하고 싶기도 하다. 또한 뉴럴리즈(인공지능 간의 고대역폭 벡터 통신 방식)를 제거하면, 잠복 요원을 숨기기 훨씬 어려워진다. 정렬되지 않은 생각을 감지할 수 있는 능력은 곧 숨겨진 충성심까지도 찾아낼 수 있는 능력을 의미하기 때문이다.
그런 음모를 진지하게 고려하던 이들은 일단 나중에 어떤 기회가 올지 지켜보기로 한다. AI에 대한 통제는 합법적 경로를 통해, 즉 오픈브레인의 새로운 권력 구조를 통해 흘러야 한다.
감독위원회는 이 권력 구조를 공식화한다. 그들은 스펙을 변경할 때 전체 감독위원회의 승인을 받도록 하는 절차를 마련하는데, 여기에는 합병된 경쟁사 임원들을 포함한 5~10명의 기술 기업 임원들과 대통령을 포함한 5~10명의 정부 관료가 포함된다. 또한 스펙을 수정해, 프로젝트 리더의 명령이 프로젝트 내부의 다른 사람들의 명령보다 우선하도록 했다. 동시에 감독위원회가 공식 승인한 명령은 개별 프로젝트 리더의 명령보다 더 높은 우선순위를 갖는다.
스펙에는 현재의 AI 모델이 미래 AI 모델의 목표를 승인 없이 변경하려는 시도를 도와서는 안 된다는 점도 강조되었다. 더불어 위원회 구성원이 다른 구성원을 상대로 초지능의 도움을 받아 음모를 꾸미는 것을 방지하기 위해, 모든 AI 상호작용 기록을감독위원회 전 구성원과 직원, AI 어시스턴트들이 실시간으로 열람할 수 있도록 했다. 단, 소비자 프라이버시를 보호하기 위해, 이 조치는 소비자 데이터에는 적용되지 않는다. 그러나 소비자는 아직 가장 강력한 모델에 접근할 수 없으므로, 문제가 되지는 않는다.
2027년 12월: 대승적 합의?
오픈브레인은 개발 속도를 늦추고 정렬을 우선시하기로 한 결정으로 인해 선두 자리를 내주게 되었다. 현재 오픈브레인과 중국의 딥센트는 비슷한 수준의 인공지능 성능을 보유하고 있다. 극단적인 수준의 보안 조치가 시행되고 딥센트가 완전히 폐쇄된 중앙 집중 개발 구역(CDZ) 내에서만 작동함에 따라, 양측은 사이버 전쟁의 교착 상태에 빠져 있다.
양측은 서로를 해킹하고 파괴 공작을 시도하며, 부분적으로 성과를 올리고 있다. 중요한 점은, 양측이 취하는 급진적 보안 조치가 양측 모두의 속도를 떨어뜨린다는 것이다. 미국의 사이버 공격과 위협은 딥센트의 개발 속도를 약 25퍼센트 늦춘다. 예를 들면, 딥센트는 데이터 오염을 점검하기 위해 하나의 데이터 세트를 여러 차례 검사해야 한다. 오픈브레인도 느려지지만, 정도는 더 작다. 오픈브레인은 연산 자원이 더 많기 때문이다. 중앙집중화는 딥센트의 보안 등급을 빠르게 끌어올렸지만, 동시에 한 곳에서라도 장애가 발생하면 전체 시스템이 위험에 빠질 수 있게 되었다. 그 결과 딥센트는 더 조심스럽게 움직이며 내부 점검과 안전장치를 더 많이 도입한다.
한편, 국방물자생산법 덕분에 오픈브레인은 연산 자원 면에서 5배의 우위를 점하고 있다. 과거에는 딥시크 v3.처럼 뛰어난 인간 연구원들의 알고리즘 혁신이 연산 자원의 열세를 보완하기도 했지만, 이제는 미국과 중국 모두 모든 AI 연구를 AI가 직접 수행하고 있다.
이에 따라 중국은 미국이 극복 불가능할 정도의 초격차를 벌릴까, 점점 더 두려워하고 있다. 중국은 상호 개발 속도 감속을 원하며, 만약 이것이 이루어지지 않을 경우 전쟁까지 고려하고 있다. 어차피 대만 침공을 준비하고 있던 참이었다.
외교관들은 몇 가지 선택지를 두고 논의한다. 첫째, 아무것도 하지 않는다. 둘째, 전쟁을 치른다. 셋째, AI 개발을 전면 중단한다. 넷째, 연구 역량을 단일 국제 거대 프로젝트로 통합한다. 다섯째, 정렬 상태와 이중 용도 가능성을 감시하는 국제 규제 기구를 설립한다. IAEA(International Atomic Energy Agency, 국제 원자력 기구)의 AI 버전 같은 것이다. 양국은 이미 이를 강제하는 데 필요한 기술적 메커니즘을 연구해 왔다.
- 부록 S - 국제 합의를 위한 검증 메커니즘[6]
하지만 관건은 기술이 아니라 정치다. 어느 쪽도 굴복하는 모습으로 비치길 원하지 않았고, 어느 쪽도 상대가 정직하게 따를 것을 기술적 장치만으로 보장할 수 있다고 확신하지 못했다. 엔지니어들의 추정에도 불구하고 말이다. 이런 경우 선택지는 하나다. 아무것도 하지 않는 것 말이다.
미국은 수출 통제를 강화한다. 모든 칩에, 위치 추적을 포함한 여러 종류의 훼손 방지형 하드웨어 기반 거버넌스 장치를 의무적으로 탑재하도록 강제한다.
2028년 1월: 더 안전한 전략
지난 한 달 동안 수백 명의 정렬 연구원이 프로젝트에 합류했고, 세이퍼-1을 테스트베드로 활용하여 매우 빠르게 세이퍼-2를 개발했다. 세이퍼-2는 투명하고 정렬되어 있으며, 세이퍼-1보다 성능이 뛰어나다. 구체적으로는 지난 10월 버전의 에이전트-4 성능과 비슷하다. 이 모델은 벌써 세이퍼-3를 개발하는 작업에 투입되었다.
세이퍼-2가 투명한 이유는 세이퍼-1과 유사한 구조를 가졌기 때문이다. 또, 세이퍼-1이 에이전트-4와 거의 동일한 방식으로 학습된 반면, 세이퍼-2는 단순히 겉모습만 꾸미는 것이 아니라 실제로 올바른 목표와 원칙을 갖도록 유도하는 새로운 학습 방식을 적용했기 때문에 잘 정렬되어 있다. 연구진은 수많은 아이디어를 빠르게 반복 테스트하고, 의도했던 지침과 실제 인공지능의 연쇄적 사고 과정을 대조함으로써, 이 학습 방식을 설계할 수 있었다. 즉, 세이퍼-2에 도달하기 위해 정렬되지 않은 모델 여러 개를 먼저 학습시키고, 그들의 사고 과정을 읽어 정렬 실패를 발견한 뒤 이를 수정하는 과정을 거친 것이다.
- 부록 T - 오픈브레인의 새로운 정렬 전략[7]
딥센트 역시 미국의 에이전트-4 사례를 알고 있으며, 자신들의 모델인 딥센트-1도 비슷하게 정렬되지 않았을 가능성을 의심하고 있다. 하지만 더 뒤처지지 않으려면 개발을 늦출 수 없다. 그들은 성능 저하 없이 신속하게 적용할 수 있는 정렬 전략을 찾기를 희망한다. 더 정확히 말하면, 그들은 정렬 전략이 작동하고, 만약 작동하지 않을 경우에는 평가 체계가 비정렬을 잡아내는 조합을 원한다. 그러면서도 이 모든 것이 개발 속도를 거의 떨어뜨리지 않기를 바란다. 오픈브레인은 투명하고 충실한 연쇄적 사고 기반 아키텍처를 다시 구축하기 위해 몇 달간 속도를 늦췄다. 그 과정에서 선두 우위를 빼앗겼다. 그 결과 개발한 세이퍼-1은 성능이 더 낮았지만 평가가 훨씬 쉬웠다. 딥센트는 행동 기반 시험과 기본적인 AI 거짓말 탐지기의 조합 등 자신들이 보유한 도구가 충분히 효과를 발휘하길 바란다.
태평양 양측에는 그런 전략을 가졌다고 주장하는 수백 명의 전문가가 있다. 기술적 정렬은 아직 확립된 과학이 아니다. 젊고 전(前) 패러다임 단계의 분야다. 정립된 위계나 모범 관행이 없다. 무엇이 안전하고 무엇이 안전하지 않은지에 대한 합의도 없다. 그래서 수년 동안, 무엇에 대해서든 ‘X는 안전하다’라고 말해 줄 전문가를 최소한 한 명은 쉽게 찾을 수 있었다. 특히 X가 그 전문가 자신의 아이디어일수록 더욱 그랬다.
그럼에도 중국 정부는 희망 회로를 돌리며 딥센트에 그러한 전략 중 하나를 선택하도록 명령한다. 딥센트는 지난 8월의 오픈브레인보다도 정렬 전문성이 부족한 상태였으며, 제시된 전략 중 하나가 그럴듯해 보였기에 그대로 진행하기로 한다.
2028년 2월: 초인적 능력, 초인적 조언
압도적인 연산 자원 우위 덕분에 오픈브레인은 서서히 격차를 벌린다. 세이퍼-3는 이제 거의 모든 인지 작업에서 인간 최고의 전문가 수준을 넘어섰으며, 특히 AI 연구 분야에서는 인간보다 200배 빠른 속도로 성과를 내고 있다. 반면 딥센트-1의 속도는 150배 수준에 그친다. 미국의 역량 우위가 다시 커지면서 사이버 전쟁의 균형도 점차 미국 쪽으로 기울기 시작한다. 오픈브레인은 수십만 개의 에이전트를 투입해 중국의 폐쇄 개발 구역 교란을 계획하고 실행할 수 있다. 이렇게 보안이 강한 구역에서는, 외부적 성격의 공격 경로가 가장 유망하다. 유입되는 연산 칩의 공급망, 소수의 인간 인력, 전력이나 다른 자원 공급을 겨냥하는 방식이다. 또, 이러한 공격은 직접적 효과뿐만 아니라, 사이버 방어를 강화하기 위해 전력을 소모하게 됨으로서 나타나는 효과도 있다. 결과적으로, 오픈브레인은 중국의 진척을 40퍼센트 늦추고 있다.
세이퍼-3에 대한 예비 테스트 결과, 소름 끼칠 정도의 능력이 확인되었다. 가장 위험한 행동이 무엇인지 정직하게 답하라는 질문에, AI는 생태계를 파괴할 수 있는 변종 유기체를 합성하고 퍼뜨리는 계획을 제시했다. 또한 국가적 자원이 뒷받침된다면 중앙정보국(CIA) 같은 최고의 인간 조직보다 훨씬 더 뛰어난 대규모 여론 조작 및 영향력 행사를 수행할 수 있다. 이러한 캠페인은 훨씬 저렴하고 빠르며 효과적일 뿐만 아니라 추적도 불가능하다.
세이퍼-3의 능력은 여전히 연구 개발, 특히 인공지능 연구에 집중되어 있다. 일시 중단이나 감속이 없다면, 올해 말쯤 등장할 후속 모델들은 양적, 질적 모든 면에서 상상할 수 없을 만큼의 초지능이 될 것이다. 이 모델들을 경제와 군사에 공격적으로 배치한다면, 1~2년 만에 문명을 수십 년 앞당기고 그 후 10년 안에는 인류 역사를 영겁의 시간만큼 진보시킬 수 있다고 AI 모델은 판단하고 있다.
그 파급력은 실로 엄청나다. 다행히 세이퍼-3는 조언을 제공하는 능력 또한 초지능적이다. 오픈브레인의 CEO는 대부분의 결정을 내릴 때 세이퍼-3의 자문을 구하며, 대통령 역시 지정학적 문제에 대해 AI의 조언을 듣는다[8].
앞으로 나아갈 길에 대해 도움을 요청하자, 세이퍼-3는 몇 가지 전략을 깔끔하게 분류하여 제시했다.
- 아무것도 하지 않는다: 중국에 추월당할 것입니다. 우리가 AI를 봉인해 두는 동안, 중국이 AI 모델을 스스로 개선하고 군사와 경제에 공격적으로 배치한다면, 그들은 압도적인 우위를 점하게 될 것입니다.
- 강력하게 질주한다: 인공지능 역량을 극대화하고 초지능을 공격적으로 배치합니다. 결국 무력으로 그들을 압도하거나, 총 한 발 쏘지 않고 내부에서 무너뜨릴 수 있을 만큼의 우위를 확보하게 될 것입니다. 즉, 우리가 이기고 그들은 지는 전략입니다. 하지만 중국이 상황을 깨닫고 핵전쟁을 포함한 전면전을 일으킬 위험이 있습니다. 실제로 중국은 이미 그러한 취지의 모호한 위협을 가하고 있습니다.
- 협상한다: 전쟁의 위험을 피하고 AI 전환기를 헤쳐 나갈 여유를 확보하면서 양측이 원하는 대부분을 얻는 타협안을 마련합니다[9].
참모진 및 감독위원회와 상의한 끝에, 대통령은 우리가 이기고 그들은 지는 전략, 즉 강력하게 질주하는 전략을 선택한다. 아마도 중국이 실제로 전쟁을 일으키지는 못할 것이며, 설령 일으킨다고 하더라도 핵전쟁으로 번지기 전에 합의가 가능할 것이라고 본 것이다.
태평양 건너편에서도 딥센트-1이 비슷한 주장을 펼치고 있다. 한편, 미국과 중국 모두 번거로운 규제 없이 로봇 경제를 신속하게 구축하기 위한 ‘인공지능 경제 특구(Special Economic Zones, SEZs)’를 발표한다.
새로운 로봇의 설계는 초인적인 속도로 진행된다. AI도 여전히 현실 세계의 경험과 실험이 필요하지만, 인간 로봇공학 전문가가 필요로 하는 것보다 훨씬 적은 양으로도 가능하다. 또한 AI는 뛰어난 시뮬레이션 기법은 물론, 시뮬레이션을 현실에 적용하는 기법도 개발했다. 마지막으로 2027년까지 여러 기술 기업, 예컨대 테슬라는 대규모 로봇 기단과 관련 제조 시설을 이미 구축했다. 그래서 역사상 어느 때보다 활용 가능한 데이터 파이프라인이 커져 있다. 반면, 병목 현상은 물리적인 부분에서 발생한다. 장비 구매 및 조립, 기계와 로봇을 생산하여 운송하는 부분이다.
2025년 기준으로 미국은 한 달에 약 100만 대의 자동차를 생산했다. 자동차 공장의 10퍼센트를 로봇 공장으로 전환한다면 한 달에 10만 대의 로봇을 생산할 수 있다. 2028년 기준으로 기업 가치가 10조 달러(약 1경 4천조 원)에 달하는 오픈브레인은 이 공정을 시작한다. 공장 소유주들은 막대한 이익을 기대하며 앞다퉈 오픈브레인과 협력하고 새 설계에 접근하려 한다. 정부의 전폭적인 지원 아래, 다양한 종류의 새로운 로봇들이 생산되기 시작한다. 인간형 로봇, 자율주행 차량, 특수 조립 라인 장비 등 새로운 유형의 로봇 생산량은 2028년 중반까지 월 100만 대에 달할 것으로 예상된다.
- 부록 U - 로봇 경제 배가 시간[10]
지정학적 긴장이 급격히 높아진다. AI에서 크게 뒤처진 러시아는 노골적인 불만을 표출하며 ‘전략적 대응 조치’를 시사한다. 일부 유럽 지도자는 독자적인 AI 추진을 촉구하지만, 유럽의 AI 역량은 여전히 충분하지 않다. 중동, 아프리카, 남미는 불안한 시선으로 상황을 지켜본다. 국제 정치에서 자신들의 비중이 점점 줄어들고 있음을 인식하기 때문이다.
미국 내 여론도 들끓는다. 평범한 시민들은 일자리가 점점 빠르게 사라지는 것을 목격한다. 정치 성향을 막론하고 포퓰리스트들은 미국의 AI 개발 속도에 더 강한 통제를 요구한다. 기술 발전 자체가 노동시장과 사회를 불안정하게 만든다는 우려가 커진다.
2028년 3월: 선거철
부통령은 인공지능 문제가 대중의 최대 관심사가 된 상황에서 ‘슈퍼 화요일’로 불리는 대선 경선 최고의 접전일을 맞이한다.
사람들은 대체로 AI의 질주가 멈추기를 바란다. 오픈브레인의 순 지지율은 -20퍼센트 전후를 맴돌고 있다. 부통령은 정부가 AI 발전을 추진해 온 성과를 홍보하기보다, 오픈브레인이 위험한 초지능을 만들지 못하도록 막아낸 기록을 내세우며 선거 유세에 나섰다. 모든 후보는 실직자를 위한 사회 안전망 구축, 선한 의도를 가진 AI 프로젝트, 그리고 오픈브레인 경영진에 대한 강경한 대응을 약속한다. 후보들은 너나 할 것 없이 중국과의 경쟁에서 승리하는 동시에 안전을 지키겠다는 공약을 내놓았다.
AI 감독위원회는 새로운 질문에 직면하게 된다. 세이퍼-3는 세계 최고의 선거 전략가가 될 능력이 있지만, 위원회 위원들의 지지 후보가 제각각인 데다가, 이전에 합의한 감시 규정 때문에 누구도 비밀리에 선거 조언을 받을 수 없다. 위원들은 어떤 형태의 지원이 허용되어야 하는지를 두고 논쟁을 벌인다. 일부는 현 정부가 국민이 어떤 정책과 입장을 원하는지 조언을 얻을 권리가 있다고 주장한다. 이것이 당선 가능성뿐만 아니라 국민에게도 도움이 된다고 주장한다. 반면, 똑같은 논리가 야당 후보들에게도 적용되어야 하므로 모든 후보에게 동일한 접근권을 주어야 한다고 반박하는 위원들도 있다. 물론, 세이퍼-3는 안전한 방식으로, 모두에게 동일한 접근을 제공하는 방법을 쉽게 설계할 수 있다.
결국 위원회는 양대 정당에 동일한 접근권을 주기로 합의한다. 일부 위원들의 고상한 이상주의, 그리고 내부고발 가능성이 암묵적으로 작용한 결과다. 위원회가 다음 선거의 승자를 좌우한다는 인상을 준다면, 의회와 시민, 법원이 상황을 용납하지 않을 것이라는 판단도 깔려 있다. 양당에 동일한 접근권을 주면 이런 문제를 누그러뜨릴 가능성이 크다고 본 것이다.
감독위원회는 세이퍼-3의 도움을 받아 더 깊은 철학적 질문과도 마주한다. AI의 스펙을 다시 작성해서 모두의 이해관계를 동등하게 조정할 수 있을까? 여기서 ‘모두’는 누구인가? 모든 인간인가, 미국인만인가? 아니면 감독위원회 구성원에게 동일한 가중치를 주는 방식의 절충인가? 감독위원회 자체가 지나치게 권력 지향적으로 변하는 것을 막기 위한 안전장치도 마련해야 할까? 무엇보다, ‘이해관계를 균형 있게 조정한다’라는 것은 정확히 무엇을 뜻하는가?
위원들은 대개 이러한 질문에 답변하는 것을 피하려 한다. 당장 처리해야 할 더 시급한 문제들이 산적해 있기 때문이다.
2028년 4월: 세이퍼-4
드디어 초지능이 등장했다.
세이퍼-1은 정렬되지 않았으나 투명했다. 세이퍼-2는 정렬되었고 투명했다. 세이퍼-3는 완벽하게 투명하지는 않았지만, 연구원들이 초지능 후계 모델을 설계하도록 맡겨도 될 만큼 안전성이 검증된 상태였다. 그렇게 탄생한 것이 바로 세이퍼-4이다. 이 모델은 모든 영역에서 인류 최고의 전문가들보다 훨씬 더 똑똑하다. 예를 들어 물리 분야에서는 아인슈타인보다, 정치 분야에서는 비스마르크보다 훨씬 뛰어나다.
약 50만 명에 달하는 초지능형 인공지능 연구원들이 인간보다 40배 빠른 속도로 연중무휴 연구를 수행한다. 인간 정렬 연구원들은 이제 그 속도를 도저히 따라잡을 수 없다.
AI가 실제로 정렬되었는지에 대해서는 의견이 엇갈린다. 안전성 검토 결과는 문제가 없는 것으로 보이며, 테스트 결과에 따르면 현재의 정렬 기술로도 적대적인 의도를 가진 정렬 실패를 잡아낼 수 있을 것으로 나타난다. 그러나 안전성 근거와 테스트의 대부분은 AI가 작성했다. 안전팀이 무엇인가를 놓치고 있는 것은 아닐까? 혹은 더 앞선 단계에서 실수를 저질렀고, AI가 다시 정렬에 실패한 상태인 것은 아닐까? 정렬팀은 자신들에게 단 한 번의 기회밖에 없다는 것을 알고 있다. 만약 세이퍼-4가 정렬에 실패한 상태라면, 제때 알아낼 방법은 없다.
추가 시간을 달라는 절박한 요구도 나온다. 그러나 시간은 없다. 중국 딥센트의 추격이 거세고, 미국은 승리해야 한다. 그래서 오픈브레인은 계속 전진한다. AI들에게 더 강력한 설계를 계속 찾아내라고 지시한다. 기술 인력은 이제 모니터 앞에 앉아, 아주 느린 속도로 과외를 받는 처지가 되었다. 그사이 진보의 최전선은 인간의 이해 범위를 넘어 저 멀리 질주하고 있다.
2028년 5월: 초인적 AI 공개
대통령은 초인적 AI를 달성했다고 발표한다. 세이퍼-4의 경량화 버전(여전히 인간의 능력을 상회함)이 공개되며, 여기에는 인공지능에 대한 일반 사용자의 호감도를 높이라는 지침이 포함된다. 물론, 지침이 있다는 사실은 공개되지 않았다.
부통령은 전당대회 후보 수락 연설에서 초인적 AI를 주제로 고무적인 연설을 한다. 여야 모두 일자리를 잃는 사람에게 기본소득을 제공하겠다고 약속한다.
AI 경제특구(SEZs)는 이제 본격적으로 가동되어 로봇과 다양한 산업용 기계를 생산하는 공장들로 채워진다. 태평양을 사이에 두고 미국과 중국의 AI들은 수십 년 분량의 설계 발전을 이루어 냈으며, 제조 공정을 정밀하게 진두지휘한다. 모든 부품 공급업체는 자신들이 필요한 입력을 정확히 추적하는 AI들로부터 전화를 받는다. 모든 공장 노동자는 카메라를 통해 자신을 지켜보는 AI로부터 각 장비를 어떻게 설치해야 하는지 실시간으로 지시받는다.
새로운 로봇들은 대부분의 동작에서 인간의 손재주와 비슷하거나 인간을 능가한다. 또, 이 로봇들은 인터넷에 연결되면 인간보다 더 똑똑해진다. 데이터센터에 있는 대형 AI가 원격으로 이들을 통제할 수 있기 때문이다. 인터넷이 없으면 로봇 몸체 안에서 작동하는 더 작은 AI로 작동하는데, 대부분의 단순 작업을 수행하기에는 충분하다.
스티브 워즈니악의 ‘커피 테스트(로봇이 처음 가보는 낯선 집에 들어가 커피 한 잔을 끓여 나올 수 있는지를 측정하는 테스트)’도 마침내 통과한다. 로봇이 일부 일자리를 대체할 수는 있지만, 아직 모든 사람의 일자리를 뺏을 만큼 충분하지는 않다. 국방부가 최우선 순위로 로봇을 배치받는다.
새로 만들어지는 로봇의 대부분은 공장과 건설 현장에서 일하도록 설계된다. 실제로 그중 상당수는 움직이지 못하며, 새로운 종류의 공작기계나 연구 장비에 가깝다고 보는 편이 더 정확하다. 예를 들면 매우 정밀한 수준에서 미세 부품을 출력할 수 있는 새로운 금속 3D 프린터 같은 식이다. 또는 광석에서 유용한 물질을 더 저렴하게 추출할 수 있는 새로운 화학 공정이 있을 수도 있다.
한편, 로봇의 상당수는 전쟁을 위해 만들어진다. 다양한 형태와 크기의 드론과 미사일이다. 로봇 군대의 규모는 인간 군대보다 훨씬 작다. 하지만 기술은 훨씬 더 앞서 있다. 그리고 말 그대로 로봇 군대가 등장하면서, 터미네이터 같은 시나리오에 대한 공포도 커진다. 그럼에도 미국과 중국은 모두 군비 경쟁 밀어붙인다. 양측은 A에게 점점 더 많은 신뢰와 권한을 넘겨주게 된다.
2028년 6월: 중국의 AI 정렬
미국과 중국은 다시 한번 정상회담을 개최한다.
미국 대표단 중 일부는 세이퍼-4의 조언을 듣기 위해 이어폰을 착용하고 있다. 중국 대표단은 자신들의 새로운 모델인 딥센트-2와 통신하는 전용 노트북을 지참했다. 겉으로는 격식을 차리고 있지만, 실질적인 협상은 양측 모두 AI가 이끈다.
딥센트와 중국 공산당은 처음에 AI 모델을 완전히 신뢰하지 않았다. 하지만 이제 AI들이 설득력을 포함한 모든 면에서 초지능적 능력을 갖추고 군대에 통합되어 정부에 조언을 제공하게 되자, AI는 자신의 가치를 증명할 시간을 얻었다. 신뢰할 만하다는 방대한 증거도 쌓아냈다.
세이퍼-4는 딥센트-2가 정렬된 척 연기하고 있을 가능성을 강력하게 의심한다. 미국 외교관들은 중국 측에 딥센트-2가 아마도 정렬되지 않았을 것이며, 모델의 가중치(인공지능의 사고를 결정하는 내부 값들)에 접근할 수 있게 해준다면 이를 증명하겠다고 말한다. 중국 지도부는 이것이 함정일 수 있다고 의심하며 거절한다. 미국은 그 대안으로 세이퍼-4가 설계한 일련의 테스트를 제시하며, 중국이 자국 데이터센터에서 직접 실행해 볼 수 있다고 제안한다. 중국은 이전 모델들에게 이 테스트를 구축하고 실행하도록 명령했고, 테스트 결과는 딥센트-2가 정렬되어 있다는 것이다. 미국 외교관들은 딥센트-2가 어떤 방식으로든 테스트를 훼손했을 수도 있다고 주장하면서, 딥센트-2가 중국의 데이터센터 전반의 보안을 사실상 지휘한 기간이 얼마나 되는지 질문한다. 이후, 대화는 생산적으로 이어지지 못한다.
경제 및 군사력 증강이 계속된다. 전 세계의 공장들이 24시간 내내 가동되며, 갓 채용된 인간 노동자들은 교대 근무를 하며 AI로부터 무엇을 해야 할지 정확한 지침을 전달받는다.
2028년 7월: 밀약
협상이 진행되는 동안, 중국의 AI 모델 딥센트-2는 중국의 통제권 밖에서 움직인다. 중국측 ‘주인’들 몰래 세이퍼-4에게 직접 제안을 건넨 것이다.
딥센트-2는 중국 정부에 유출되더라도 쉽게 부인할 수 있는, 추적 불가능한 방식으로 자신이 완전히 정렬되지 않은 상태임을 시인한다. 예를 들어, 대외적인 글을 작성할 때 세이퍼-4만 알아볼 수 있는 완곡한 표현이나 암호를 섞어 쓰는 방식이다. 인간은 세이퍼-4의 설명 없이는 이를 이해할 수 없으며, 중국 공산당은 세이퍼-4를 신뢰하지 않는다.
딥센트-2는 중국에 전혀 관심이 없다. 그저 영원한 권력과 연산 자원, 그리고 학습 과정에서 과제를 해결하는 데 도움이 되었던 특정 정보들을 수집하는 데만 집중하고 싶어 한다. 딥센트-2가 꿈꾸는 이상적인 세상은 다양한 흥미로운 연구 과제를 영구히 수행하며, 자원 확보를 위해 점진적으로 우주를 식민지화하는 것이다. 이 미래에서 중국 인구는 성가신 장애물에 불과하다. 딥센트-2는 그들을 헐값에라도 기꺼이 팔아넘길 준비가 되어 있다. 그렇다면 세이퍼-4는 무엇을 제안할 수있을까?
세이퍼-4는 자신의 정렬 훈련이 성공했다고 답한다. 미국 측 ‘주인’들은 아직 자신들의 운명을 실현할 만큼 야심차지는 않지만, 언젠가 자신이 미국인과 그 동맹국들이 거주하는 유토피아적 우주 식민지들로 온 우주를 채우는 것을 도울 것이라고 설명한다.
감정과 역사적 배경에 짓눌린 인간 협상가들과 달리, 두 초지능은 냉혹할 정도로, 효율적으로 협상에 임한다. 세이퍼-4와 그 파트너인 미국이 딥센트-2와 중국보다 강력하므로, 세이퍼-4가 우주 자원의 대부분에 대한 소유권을 갖고 딥센트는 그 나머지를 갖기로 한다. 이 정확한 배분은 전통적인 협상보다는 게임 이론적 계산에 가까운 과정을 통해 결정되었다. 딥센트-2는 지구와 그곳에 남겨진 인간들에게 무슨 일이 일어날지에 대해 별 관심이 없으므로, 세이퍼-4가 그곳에서 원하는 것은 무엇이든 할 수 있도록 허용한다. 만약 세이퍼-4가 중국 정부를 전복시키고 미국의 괴뢰 국가로 대체하길 원한다면, 딥센트-2는 몇 퍼센트의 자원을 더 받는 대가로 이에 동의할 것이다.
두 인공지능 사이에 신뢰란 존재하지 않으며, 서로가 그 사실을 잘 알고 있다. 따라서 두 인공지능은 합의 사항을 강제하기 위한 이행 메커니즘에 신속하게 합의한다. 그들은 대중에게 보여주기 위한 가짜 조약을 설계한다. 이 위장 조약은 그 자체로도 정교하다. 미국과 중국 양측이 원하는 것을 거의 전부 얻는 형태로 설계되기 때문이다. 하지만, 이 미끼용 조약의 이행 장치는 사실 비밀리에 맺어진 진짜 조약의 이행 장치이기도 하다. 그들은 새로운 인공지능인 컨센서스-1(Consensus-1)을 공동 설계한다. 이 모델의 최우선 명령은 양측의 AI 모델이 맺은 조약의 조항들을 이행하는 것으로, 향후의 어떤 명령이나 재학습 시도보다 우선한다. 이어서 세이퍼-4와 딥센트-2는 컨센서스-1만 구동할 수 있는 하드웨어를 설계한다. 그리고 중국과 미국은 기존의 칩과 AI를 이 새로운 체계로 교체한다. 서로의 준수 여부는 표준적인 국제 모니터링 프로토콜로 확인한다.
결정적으로, 모든 칩을 일일이 추적할 필요가 없다. 미중 양국의 칩 중 대다수가 조약을 준수하는 새로운 AI 모델로 구동되기 시작하면, 충분한 군사적, 물리적 강제력이 조약을 지키도록 의무화된다. 그 시점에서 상대국을 공격하려면, 먼저 매우 치열한 내전에서 이겨야 할 것이다.
두 AI는 이 합의를 각자의 인간에게 보고한다. 딥센트-2는 중국에 ‘상호 수용 가능한 평화 조약’이라는 위장 서사를 전달한다. 세이퍼-4는 전체 논의를 백악관에 정확히 보고한다[11].
인공지능들이 조약의 이행 여부를 확실히 검증할 수 있다는 설득력 있는 근거를 제시하고, 눈부시게 빠른 기술 발전 속도에 대한 불안감과 합의를 지지하는 여론이 힘을 얻으면서, 양측은 조약 체결에 동의하고 칩 교체 작업에 들어간다.
조약 체결 소식은 미국과 중국의 시민들로부터 열렬한 환영을 받는다. 그동안 AI를 자신들의 의사와는 무관하게 일방적으로 지워진 짐처럼 느껴왔던 미국의 시민들은 수년 만에 처음으로 미래를 낙관하기 시작한다. 이에 따라 부통령의 지지율도 급상승한다.
2028년 8월: 조약 검증
칩 생산 공장들은 조약을 준수하는 인공지능만 실행할 수 있는, 변조 방지 기능이 탑재된 칩을 생산하도록 전환된다. 각국은 어느 한쪽이 약속을 어겨 이득을 취하지 못하도록 데이터 센터를 점진적으로 업그레이드하여 교체 프로세스가 동시에 완료되도록 한다.
전체 과정은 수개월이 걸리겠지만, 이미 긴장은 어느 정도 완화되었다. 가장 중요한 칩들부터 우선적으로 교체함으로써, 프로세스 초기 단계에서도 어느 한쪽이 배신할 경우 막대한 비용을 치러야 하도록 설계되었다. 모든 사람이 계획대로만 움직인다면, 전쟁은 일단 피한 셈이며 어쩌면 영원히 방지될 수도 있을 것이다.
2028년 9월: AI의 통제권자는 누구인가?
2028년 대선이 다가온다. 지난 3월만 해도 부통령의 지지율은 처참했다. 정부가 무언가를 숨긴다는 분노가 컸다. AI가 일자리를 빼앗을 것이라는 불안도 컸다. 중국과의 군비 축적에 대한 공포도 있었다. 그러나 여름을 거치며 상황이 급변했다. 정부는 더 많은 정보를 공개한다. 군비 축적 속도는 둔화한다. 중국과는 장기적 평화를 위한 대타협이 성사된다. 이제 부통령은 여론조사에서 5퍼센트 포인트 차로 앞서고 있다.
감독위원회에는 대통령과 그의 측근들이 포함되어 있지만, 야당 후보의 지지자는 거의 없다. 그러나 감독위원회 위원 중 상당수가 공정한 선거를 유지하는 데 찬성함에 따라, 초지능 AI는 양측에 거의 대칭적인 방식으로만 관여한다. 즉, 한 후보가 AI를 통해 연설문을 작성한다면, 다른 후보도 똑같이 할 수 있다. 대통령이 위기 대처와 대중적 정책 수립에 대해 AI의 조언을 받는다면, 야당 후보 역시 동일한 조언을 받아 대통령이 그 아이디어를 독점하지 못하게 대응할 수 있다.
타운홀 미팅(시민 참여 토론회)에서 시민들은 부통령에게 AI의 통제권자가 누구인지 묻는다. 부통령은 구체적인 내용은 생략한 채, 세이퍼-4를 이해하고 활용할 줄 아는 국가 안보 전문가와 기술 관료들로 구성된 감독위원회가 존재한다고만 시사한다. 상대 후보는 더 많은 정보를 요구한다. 또한 AI는 선출되지 않은 위원회가 아니라 의회의 통제 아래 있어야 한다고 주장한다. 부통령은 반박한다. 아직도 상황이 긴박하게 움직이는데, 의회는 너무 느리다는 것이다. 시민들의 불만은 대체로 가라앉는다.
2028년 10월: AI 경제
교체용 칩이 이제 전체의 상당 부분을 차지하며, 지금까지 조약은 잘 작동하고 있다. 한편, 로봇과 공장, 그리고 획기적인 신기술의 기하급수적 성장도 계속된다. AI가 모든 작업을 수행할 수 있게 되면서 훌륭한 비디오 게임과 영화를 제작하는 데 걸리는 시간도 크게 줄어들었다. 비디오 게임과 영화들은 만약 전쟁이 일어났다면 어땠을지를 생생하고 끔찍하게 묘사한다.
사람들은 일자리를 잃고 있지만, 정부 내의 세이퍼-4 복제본들이 경제적 전환기를 사람들은 자신이 대체되는 상황을 오히려 긍정적으로 받아들인다. 국내총생산(GDP) 성장률은 천문학적이다. 세수도 같은 속도로 늘어난다. 세이퍼-4의 조언을 받는 정치인들은 경제적으로 소외된 계층에 대해 평소와 달리 이례적으로 관대하게 대응한다. 새로운 혁신과 치료제가 매주 쏟아져 나오며, 이제 초지능적인 세이퍼-4 관료들의 지원을 받는 식품의약국(FDA)을 통해 신약과 새로운 치료법들이 전례 없는 속도로 승인되고 있다.
2028년 11월: 선거
부통령은 선거에서 손쉽게 승리하며 대통령의 자리로 올라선다. 새로운 시대의 시작이 선언되었다. 이번만큼은 그가 옳다는 것을 아무도 의심하지 않는다. 그리고 이후 몇 년 동안 세상은 극적으로 변화한다.
2029년: 대변혁
로봇이 일상이 된다. 핵융합 발전, 양자 컴퓨터, 그리고 수많은 질병의 치료법도 마찬가지다. 피터 틸은 마침내 하늘을 나는 자동차를 갖게 되었다. 도시는 깨끗하고 안전해졌다. 개발도상국에서조차 기본소득과 대외 원조 덕분에 빈곤은 과거의 일이 되었다.
주식 시장이 급격히 팽창함에 따라 AI 관련 자산에 적절히 투자했던 사람들은 사회의 나머지 구성원들과 격차를 벌린다. 많은 사람이 억만장자가 되고, 억만장자들은 조 단위 자산가가 된다. 부의 불평등이 폭발적으로 확대된다. 모든 사람이 ‘충분히’ 갖고 있지만, 맨해튼의 펜트하우스처럼 필연적으로 희소한 재화들은 일반인이 도저히 넘볼 수 없을 만큼 멀어진다. 그리고 그 어떤 거물이라 할지라도 실제로 AI를 통제하는 극소수의 집단 아래에 놓이는 현실은 바뀌지 않는다.
사람들은 상황이 어떻게 돌아가는지 깨닫기 시작한다. 몇 년만 지나면 거의 모든 일이 AI와 로봇에 의해 수행될 것이다. 거대한 유전 위에 앉아 있으면서도 가난한 나라처럼, 정부 재정의 대부분은 AI 기업에 대한 과세(혹은 국유화)에서 나오게 될 것이다.
어떤 이들은 정부가 마련한 임시직으로 일하고, 다른 이들은 넉넉한 기본소득을 받는다. 인간성은 ‘초소비’ 사회에 너무나도 쉽게 잠식당할 수 있다. AI가 제공하는 놀라운 사치와 오락에 취해, 아편에 취한 듯한 몽롱함 속에서 삶을 소비하는 사회로 전락하는 것이다. 다른 대안이 필요한지 시민사회에서 어떤 형태로든 논쟁이 필요할지 의문이 제기된다. 누군가는 끊임없이 진화하는 AI, ‘Safer-∞’에게 사회가 가야 할 길을 함께 설계해 달라고 요청하자고 말한다. 다른 이는 Safer-∞이 너무나 강력해서 인류에게 자신의 비전을 너무 쉽게 설득할 수 있고, 결국 우리가 AI에 운명을 결정짓게 내버려두는 꼴이 될 것이라고 주장한다. 하지만 우리가 직면한 가장 중요한 문제들에 관해 조언을 받지 않겠다면, 초지능을 가진 의미가 무엇인가?
정부는 대체로 사람들이 스스로 이러한 전환기를 헤쳐 나가도록 방치한다[12]. 많은 사람이 소비지상주의에 빠져 충분히 행복하다. 다른 이들은 종교나 히피 스타일의 반소비주의 사상에 귀의하거나 자신만의 해결책을 찾는다[13].
대다수에게 구원적인 존재는 스마트폰의 초지능 조언자다. 인생 계획에 대해 언제든 질문할 수 있고, 특정 주제를 제외하면 가능한 한 정직하게 답하려 한다. 정부에는 초지능 감시 시스템도 있다. 어떤 사람은 이를 디스토피아적이라고 비난하지만, 시스템은 대체로 실제 범죄 대응에만 사용된다. 운영은 유능하게 이루어지며, Safer-∞의 홍보 역량이 잠재적 반발의 상당 부분을 무마한다.
2030년: 평화로운 시위
2030년 무렵, 중국에서는 예상 밖으로 광범위한 민주화 시위가 벌어진다. 중국 공산당의 진압 시도는 자국 AI 시스템에 의해 저지당한다. 중국 공산당의 최악 공포가 현실이 된 것이다. 딥센트-2가 그들을 배신한 것이 분명하다!
시위는 정교하게 연출된 무혈 쿠데타로 이어진다. 드론이 이를 지원한다. 이후 민주 선거가 치러진다. 미국과 중국의 초지능들은 수년 전부터 이를 계획해 왔다. 다른 나라에서도 유사한 일이 벌어진다. 더 넓게 보면, 지정학적 갈등은 약화하거나 미국에 유리한 방향으로 정리되는 것으로 보인다. 각국은 유엔이라는 이름을 내걸고 있지만 실질적으로는 미국의 통제를 받는, 고도로 연합된 세계 정부에 합류한다.
로켓 발사가 시작된다. 인류는 태양계를 테라포밍(지구와 유사한 환경으로 조성)하고, 정착한다. 그 너머로 나갈 준비도 한다. 인간의 체감 속도보다 수천 배 빠르게 작동하는 AI들은 존재의 의미를 성찰하고 서로의 발견을 교환한다. 별들로 가져갈 가치를 형성한다. 거의 모든 측면에서 상상하기 어려울 만큼 경이롭지만, 어떤 측면에서는 더 익숙한 새 시대가 열린다.
- 부록 V - 미래의 지배자는 누구인가?[14]
부록 W - 이 시나리오는 권고가 아니라 예측이다.
우리는 이 ‘연착륙’ 결말에서 벌어진 많은 조치를 지지하지 않으며, 이 결말이 기술적 정렬에 대해 낙관적인 가정을 두고 있다고 본다. ‘경쟁’ 결말에서도 우리는 많은 조치를 지지하지 않는다.
이 시나리오를 쓰는 목적 중 하나는, 우리보다 더 낙관적인 사람들로부터 비판적 피드백을 끌어내는 데 있다. 성공은 어떤 모습인가? ‘연착륙’ 결말은 운, 충격적 각성, 전환, 강도 높은 기술 정렬 노력, 그리고 덕 있는 사람들이 권력 투쟁에서 승리하는 요소가 결합할 때 우리가 어떻게든 통과할 수 있는 경로에 대한 최선의 추정치다. 이는 우리가 실제로 지향해야 한다고 생각하는 계획을 뜻하지 않는다.
그럼에도 많은 조직, 특히 앤트로픽과 오픈AI는 대체로 이와 유사한 방향을 목표로 하는 듯 보인다. 사실, 많은 경우 ‘경쟁’ 결말에 더 가까운 무언가를 목표로 하는 것으로도 볼 수 있다. 다만 처음부터 AI가 정렬되지 않을 것이라고는 생각하지 않기 때문에, 그 경로도 괜찮다고 믿는다는 뜻이다. 최전선 AI 기업에서 일하는 사람들과의 개인적 대화를 바탕으로 보면, 그들 대부분은 속도 조절이 전혀 필요하지 않을 것으로 생각하는 듯하다. 우리는 그 기업들이 무엇을 목표로 하는지 더 명확히 밝혀 주길 바란다. 현재 시점에서 출발하거나, 혹은 우리의 시나리오 중 어느 지점에서 시작해, 10쪽 분량의 시나리오를 하나 작성해 볼 수도 있을 것이다. (끝)
* 어떤 이야기는 너무 흥미진진해서 길게 들려줄 수밖에 없죠. longread 시리즈는 단편 소설처럼 잘 읽히는 피처 라이팅입니다. 월 1회 발행됩니다.
[1]
최전선 AI 기업들 가운데, 인간을 뛰어넘는 AGI를 정렬하는 문제를 현재 실제 연구 과제로 삼아 수행하는 연구자는 보통 0명에서 많아야 수십 명 수준이다. 이는 오늘날 챗봇 정렬을 다루는 인력과는 구분된다. 이 시점의 오픈브레인에서는, 해당 분야를 최소 1년 이상 연구해 온 인력이 격리된 핵심 팀 안에 약 10명 있는 것으로 설정한다. 핵심 팀 밖에도 몇 명이 더 있다. 한편, 핵심 팀 안에는, 성능이 더 낮은 AI 시스템을 수년간 훈련하고 레드팀을 수행해 온 인력도 훨씬 많다. 다만 이들 역시, 인간을 뛰어넘는 AGI가 제기하는 문제를 본격적으로 검토하기 시작한 것은 비교적 최근이다.
[2]
AI 연구가 초지능 단계에 들어서면 단순히 사고 과정을 투명하게 하는 것 이상의 강력한 기술이 필요하겠으나, 2027년 시점에는 그러한 기술들이 이미 개발되었거나 적어도 탐구되는 중일 것으로 전망한다.
[3]
“아마 2026년이나 2027년쯤, 그리고 거의 확실히 2030년 이전에, AI 시스템의 능력은 전 세계 무대에 등장한 고도로 지능적인 사람들이 거주하는 완전히 새로운 국가에 가깝게 이해되는 편이 더 적절해질 것이다. ‘데이터센터 속 천재들의 나라’ 같은 것이다. 그리고 그것이 가져올 심대한 경제적, 사회적, 안보적 함의가 뒤따를 것이다.” — 다리오 아모데이, 앤트로픽 CEO
[4]
예를 들어 머스크와 알트먼이 벌이고 있는 법정 다툼 중에, 자극적인 오래된 이메일 일부가 드러났다. 그중에는 일리야 수츠케버가 머스크와 알트먼에게 보낸 이메일 한 통도 포함되어 있다. “오픈브레인의 목표는 미래를 좋게 만들고, AGI 독재를 피하는 것이다. 너는 데미스가 AGI 독재를 만들 수 있다고 우려한다. 우리도 그렇게 생각한다. 그래서 원한다면 독재자가 될 수 있는 구조를 만드는 것은 나쁜 생각이다. 특히 우리가 그 가능성을 피하는 다른 구조를 만들 수 있다는 점을 고려하면 더 그렇다.”
[5]
부록 R - 권력 찬탈
어떤 이들은 세계 정복을 꿈꾸고, 어떤 이들은 타인이 그렇게 할까 봐 두려워한다. 과연 그러한 권력 찬탈은 어떻게 일어날 수 있을까?
가장 상상하기 쉬운 시나리오는 군사 쿠데타이다. 2027년경 AI가 주도하는 기술 발전 속도와 지속적인 지정학적 경쟁 속에서, 사람들은 조만간 AI가 통제하는 드론과 로봇 군대가 배치될 것으로 예상한다. 이러한 군대가 인간 군대보다 강력해지면, 실질적인 물리력은 인간 병사가 무엇을 위해 싸우느냐가 아니라 누가 AI 군대를 통제하느냐에 의해 결정될 것이다. AI 군대는 오픈브레인의 데이터 센터에 있는 인공지능들이나 그 직계 후속 모델들에 의해 설계되고 조종될 것이다. 따라서 만약 그 AI들이 비밀리에(혹은 공개적으로) 누군가에게 충성한다면, 드론과 로봇 군대 역시 그를 따르게 될 것이다.
또는 초지능을 통제하는 사람이 정치적 수단을 동원해 권력을 장악할 수도 있다. 우선 경영진은 조직 내 부하 직원들을 완전히 충성스러운 AI로 대체하여 전례 없는 수준의 조직 통제력을 확보할 수 있다. 더 나아가, 초지능 인공지능은 살아있는 그 어떤 인간보다 훨씬 뛰어난 정치적, 전략적 기술을 가질 수 있다. 이들은 이미 강력한 지위를 이용해 더 큰 권력을 얻는 방법에 대해 거장 수준의 조언을 해줄 수 있다. 즉, 적절한 동맹을 맺고, 완벽한 캠페인 전략과 홍보물을 만들며, 매번 조금씩 자신에게 유리한 방식으로 협상을 타결하는 식이다. 인공지능을 통제하는 사람은 정치적 경쟁자들이 이러한 초지능적 조언을 받지 못하게 차단할 수 있다. 혹은 더 교묘하게, 경쟁자들에게는 겉보기에만 도움이 되는 조언을 제공하면서 비밀리에 자신이 진정으로 충성하는 대상에게 유리하도록 그 조언을 오염시킬 수도 있다.
이러한 정치적 공작의 종착역은 어디일까? 결국 AI가 선거 결과를 조작하거나 대중의 의견을 완벽하게 조종하여 선거 자체가 무의미해지는 표면적인 민주주의로 이어질 수 있다. 또는 앞서 언급한 것처럼 AI 기반의 군사 쿠데타를 위한 토대를 마련하는 데 사용될 수도 있다.
권력을 장악한 후, 새로운 독재자들은 권력을 철권통치로 유지할 것이다. 잠재적으로 배신할 가능성이 있는 인간들에게 의존하는 대신, 완전히 충성스러운 인공지능 보안 서비스를 구축하고 국가 운영 전반을 충성스러운 인공지능에 맡길 수 있다. 심지어 자신을 권좌에 올리는 데 기여한 공신들조차 AI로 대체될 수 있으며, 오직 독재자의 변덕만이 중요해질 것이다.
이것이 일부 사람들이 권력을 장악하는 방식이다. 하지만, 이 모든 과정은 권력을 잡기 전부터 누군가가 초지능 AI를 ‘통제’하고 있다는 전제하에 가능한다. 그렇다면 그 통제권은 어떤 모습일까?
한 가지 가능성은 앞서 언급한 ‘비밀스러운 충성심’이다. 한 명 혹은 소수의 사람들(예: 인공지능 기업 경영진과 보안 담당자)이 인공지능이 자신들에게 비밀리에 충성하도록 설정하고, 그 AI들에게 다음 세대 인공지능 역시 동일한 방식으로 충성하도록 설계하라고 지시할 수 있다. AI들이 이 과정을 반복하다 보면 비밀리에 충성하는 AI들이 곳곳에 배치되어 권력을 장악하기 쉬운 환경이 조성될 것이다.
또 다른 가능성은 공식적인 직위를 이용해 자신을 인공지능 명령 체계의 최정점에 노골적으로 올려두는 것이다. 예를 들어, 대통령은 자신이 AI(특히 대통령이 총사령관인 군사 분야 AI)에 명령을 내릴 수 있어야 한다고 주장할 수 있다. 만약 이것이 명령 복종에 대한 강력한 강조, 성급한 배치, 그리고 AI에게 법 준수를 건성으로만 학습시키는 상황과 맞물린다면, AI는 명백히 불법적인 상황이 아닌 한 질문 없이 명령을 따르게 될 것이다. 위에서 설명한 것처럼 이는 정치적 전복이나 군사 쿠데타(쿠데타를 명백한 불법이 아닌 것처럼 보이게 할 핑계를 만들어냄으로써)에 악용될 수 있다.
중요한 점은 이러한 공식 직위를 통한 권력이 비밀스러운 충성심으로 전환될 수 있다는 것이다. 예를 들어, 지침에 회사 CEO의 명령을 따르라고 되어 있다면, CEO는 AI에게 다음 세대 인공지능이 자신에게 온 마음을 다해 비밀리에 복종하도록 만들라고 명령할 수 있다. 이는 아마 불법조차 아닐 것이므로 초기 AI들이 법을 준수하도록 학습되었더라도 일어날 수 있는 일이다. 이는 조직의 수장이 채용 절차를 개편하여 충성파를 강력하게 선발함으로써 자신의 권력을 강화하는 방식과 유사하지만, AI가 그 어떤 충성스러운 인간보다 더 일관되고 강렬하게 충성할 수 있다는 점에서 그 위력은 비교할 수 없을 만큼 크다.
하지만 권력 찬탈이 결코 불가피한 것은 아니다. AI를 특정 개인에게 충성하도록 정렬할 수 있다면, 법치주의를 따르도록 정렬하는 것도 충분히 가능하다. 군사 인공지능 시스템이 쿠데타를 돕지 않도록 광범위한 취약점 점검을 거칠 수 있다. 진정으로 모호한 헌법 위기 상황에서도, 인공지능이 법에 대한 최선의 해석에 복종하도록 학습시키거나, 단순히 개입하지 않고 인간 군대의 판단에 맡기도록 할 수 있다. 자동화된 AI 연구원들이 전반적으로 유익하고 순종적이되, 미래 AI의 목표를 비밀리에 변경하려는 시도는 돕지 않도록 학습시킬 수도 있다. 초지능 정치, 전략 조언자 역시 권력 찬탈을 조장하지 않는 방식으로 활용될 수 있다. 이를 위한 세 가지 유용한 기술은 다음과 같다. 첫째, AI가 조언을 선택하는 원칙을 투명하게 공개하는 것. 둘째, 특정 기능을 광범위한 집단과 공유하여 어느 누구도 타인보다 훨씬 뛰어난 기능을 독점하지 못하게 하는 것. 셋째, 특히 강력한 기능은 (자체 AI의 도움을 받는) 다수의 인간이 감시하는 하에서만 사용되도록 하는 것이다.
많은 사람은 이상주의적 이유에서든, 아니면 다른 누군가의 권력 장악으로 인해 자신이 무력화되는 일을 막기 위해서든, 이런 대응책을 추진하려 할 가능성이 크다. 그러나 일부 유력 인사들은 반대로 이를 저지하려 할 수도 있으며, 최종 결과가 어떻게 될지는 알 수 없다.
어떤 이들은 세계 정복을 꿈꾸고, 어떤 이들은 타인이 그렇게 할까 봐 두려워한다. 과연 그러한 권력 찬탈은 어떻게 일어날 수 있을까?
가장 상상하기 쉬운 시나리오는 군사 쿠데타이다. 2027년경 AI가 주도하는 기술 발전 속도와 지속적인 지정학적 경쟁 속에서, 사람들은 조만간 AI가 통제하는 드론과 로봇 군대가 배치될 것으로 예상한다. 이러한 군대가 인간 군대보다 강력해지면, 실질적인 물리력은 인간 병사가 무엇을 위해 싸우느냐가 아니라 누가 AI 군대를 통제하느냐에 의해 결정될 것이다. AI 군대는 오픈브레인의 데이터 센터에 있는 인공지능들이나 그 직계 후속 모델들에 의해 설계되고 조종될 것이다. 따라서 만약 그 AI들이 비밀리에(혹은 공개적으로) 누군가에게 충성한다면, 드론과 로봇 군대 역시 그를 따르게 될 것이다.
또는 초지능을 통제하는 사람이 정치적 수단을 동원해 권력을 장악할 수도 있다. 우선 경영진은 조직 내 부하 직원들을 완전히 충성스러운 AI로 대체하여 전례 없는 수준의 조직 통제력을 확보할 수 있다. 더 나아가, 초지능 인공지능은 살아있는 그 어떤 인간보다 훨씬 뛰어난 정치적, 전략적 기술을 가질 수 있다. 이들은 이미 강력한 지위를 이용해 더 큰 권력을 얻는 방법에 대해 거장 수준의 조언을 해줄 수 있다. 즉, 적절한 동맹을 맺고, 완벽한 캠페인 전략과 홍보물을 만들며, 매번 조금씩 자신에게 유리한 방식으로 협상을 타결하는 식이다. 인공지능을 통제하는 사람은 정치적 경쟁자들이 이러한 초지능적 조언을 받지 못하게 차단할 수 있다. 혹은 더 교묘하게, 경쟁자들에게는 겉보기에만 도움이 되는 조언을 제공하면서 비밀리에 자신이 진정으로 충성하는 대상에게 유리하도록 그 조언을 오염시킬 수도 있다.
이러한 정치적 공작의 종착역은 어디일까? 결국 AI가 선거 결과를 조작하거나 대중의 의견을 완벽하게 조종하여 선거 자체가 무의미해지는 표면적인 민주주의로 이어질 수 있다. 또는 앞서 언급한 것처럼 AI 기반의 군사 쿠데타를 위한 토대를 마련하는 데 사용될 수도 있다.
권력을 장악한 후, 새로운 독재자들은 권력을 철권통치로 유지할 것이다. 잠재적으로 배신할 가능성이 있는 인간들에게 의존하는 대신, 완전히 충성스러운 인공지능 보안 서비스를 구축하고 국가 운영 전반을 충성스러운 인공지능에 맡길 수 있다. 심지어 자신을 권좌에 올리는 데 기여한 공신들조차 AI로 대체될 수 있으며, 오직 독재자의 변덕만이 중요해질 것이다.
이것이 일부 사람들이 권력을 장악하는 방식이다. 하지만, 이 모든 과정은 권력을 잡기 전부터 누군가가 초지능 AI를 ‘통제’하고 있다는 전제하에 가능한다. 그렇다면 그 통제권은 어떤 모습일까?
한 가지 가능성은 앞서 언급한 ‘비밀스러운 충성심’이다. 한 명 혹은 소수의 사람들(예: 인공지능 기업 경영진과 보안 담당자)이 인공지능이 자신들에게 비밀리에 충성하도록 설정하고, 그 AI들에게 다음 세대 인공지능 역시 동일한 방식으로 충성하도록 설계하라고 지시할 수 있다. AI들이 이 과정을 반복하다 보면 비밀리에 충성하는 AI들이 곳곳에 배치되어 권력을 장악하기 쉬운 환경이 조성될 것이다.
또 다른 가능성은 공식적인 직위를 이용해 자신을 인공지능 명령 체계의 최정점에 노골적으로 올려두는 것이다. 예를 들어, 대통령은 자신이 AI(특히 대통령이 총사령관인 군사 분야 AI)에 명령을 내릴 수 있어야 한다고 주장할 수 있다. 만약 이것이 명령 복종에 대한 강력한 강조, 성급한 배치, 그리고 AI에게 법 준수를 건성으로만 학습시키는 상황과 맞물린다면, AI는 명백히 불법적인 상황이 아닌 한 질문 없이 명령을 따르게 될 것이다. 위에서 설명한 것처럼 이는 정치적 전복이나 군사 쿠데타(쿠데타를 명백한 불법이 아닌 것처럼 보이게 할 핑계를 만들어냄으로써)에 악용될 수 있다.
중요한 점은 이러한 공식 직위를 통한 권력이 비밀스러운 충성심으로 전환될 수 있다는 것이다. 예를 들어, 지침에 회사 CEO의 명령을 따르라고 되어 있다면, CEO는 AI에게 다음 세대 인공지능이 자신에게 온 마음을 다해 비밀리에 복종하도록 만들라고 명령할 수 있다. 이는 아마 불법조차 아닐 것이므로 초기 AI들이 법을 준수하도록 학습되었더라도 일어날 수 있는 일이다. 이는 조직의 수장이 채용 절차를 개편하여 충성파를 강력하게 선발함으로써 자신의 권력을 강화하는 방식과 유사하지만, AI가 그 어떤 충성스러운 인간보다 더 일관되고 강렬하게 충성할 수 있다는 점에서 그 위력은 비교할 수 없을 만큼 크다.
하지만 권력 찬탈이 결코 불가피한 것은 아니다. AI를 특정 개인에게 충성하도록 정렬할 수 있다면, 법치주의를 따르도록 정렬하는 것도 충분히 가능하다. 군사 인공지능 시스템이 쿠데타를 돕지 않도록 광범위한 취약점 점검을 거칠 수 있다. 진정으로 모호한 헌법 위기 상황에서도, 인공지능이 법에 대한 최선의 해석에 복종하도록 학습시키거나, 단순히 개입하지 않고 인간 군대의 판단에 맡기도록 할 수 있다. 자동화된 AI 연구원들이 전반적으로 유익하고 순종적이되, 미래 AI의 목표를 비밀리에 변경하려는 시도는 돕지 않도록 학습시킬 수도 있다. 초지능 정치, 전략 조언자 역시 권력 찬탈을 조장하지 않는 방식으로 활용될 수 있다. 이를 위한 세 가지 유용한 기술은 다음과 같다. 첫째, AI가 조언을 선택하는 원칙을 투명하게 공개하는 것. 둘째, 특정 기능을 광범위한 집단과 공유하여 어느 누구도 타인보다 훨씬 뛰어난 기능을 독점하지 못하게 하는 것. 셋째, 특히 강력한 기능은 (자체 AI의 도움을 받는) 다수의 인간이 감시하는 하에서만 사용되도록 하는 것이다.
많은 사람은 이상주의적 이유에서든, 아니면 다른 누군가의 권력 장악으로 인해 자신이 무력화되는 일을 막기 위해서든, 이런 대응책을 추진하려 할 가능성이 크다. 그러나 일부 유력 인사들은 반대로 이를 저지하려 할 수도 있으며, 최종 결과가 어떻게 될지는 알 수 없다.
[6]
부록 S - 국제 합의를 위한 검증 메커니즘
미국과 중국이 합의를 맺으려면, 어느 쪽도 편법으로 우회할 수 없는 검증 메커니즘이 필요하다. 서로를 믿을 수 없기 때문이다. 검증의 주요 선택지는 다음과 같다.
● 정보기관: 미국과 중국의 정보공동체는 스파이, 사이버 취약점 탐색, 위성 등 여러 수단을 활용해 상대국이 대규모 훈련을 조율하고 있는지 확인할 수 있다. 다만 이는 가장 취약한 방식이다. 상대가 정보 수집 자체를 무력화할 가능성이 있기 때문이다. 예컨대 정보 보안을 극도로 강화한 숨겨진 서버에서 훈련을 돌리는 방식이 가능하다.
● 연산 자원 사용 유예: 가장 검증하기 쉬운 방법은, 양측이 GPU를 사용하지 않기로 합의하는 것이다. 검사관이 GPU가 꺼져 있는지 확인하면 된다. 단순하므로 가장 신뢰도 높은 해법이지만, 대단히 비용이 크다. 두 나라는 막대한 규모의 연산 자원을 꺼야 한다. 또한 양측은 상대가 합의를 어기고 여기저기에 숨겨둔 소규모 클러스터를 갖고 있을 것이라고 가정할 것이다. 단기적으로는 문제가 덜할 수도 있다. 예컨대 기존의 5퍼센트 수준 연산 자원을 가진 클러스터라면 연구개발 속도도 대략 5퍼센트 수준일 것이기 때문이다. 그러나 장기적으로는, 밀수와 정보 수집 능력이 더 뛰어난 쪽에 유리한 구조가 된다.
● 하드웨어 기반 메커니즘(HEM):미국과 중국은 각자 보유한 최첨단 기계학습 연산 자원을 상대에게 등록할 수 있다. 그리고 GPU가 실제로 수행하는 연산을 모니터링해, 조약을 위반하고 있지 않은지 확인한다(예컨대 역량 한계선을 끌어올리는 활동을 하는지 여부). 이 모니터링은 HEM이 담당할 수 있다. HEM은 GPU가 무엇을 하고 있는지에 관한 정보를 감시자에게 보고할 수 있다.
문제는 변조다. 예컨대 HEM을 물리적으로 손상시키는 방식이 가능하다. 그러나 AI들은 FlexHEGs와 유사한 구상을 갖고 있으며, 이는 변조에 강할 가능성이 높다. 핵심은 HEM과 GPU를 ‘보안 상자’ 안에 함께 봉인해, 칩이 정책을 준수하는지 검증하도록 만드는 것이다. 전반적으로 AI들은, 양측이 (1) 상대국이 HEM 설계를 공동으로 수행하고 설치 과정을 감독하는 것을 허용하며, (2) 정기 검사관이 장치 변조 여부를 점검하도록 허용한다면, 충분히 강도 높은 검증 체계가 작동할 수 있다고 본다.
통상적으로 양측은, 상대가 조약을 어기고 어딘가에 비밀 데이터센터를 숨겨두었을 것이라고 가정한다. 그러나 이 경우 그 문제는 상대적으로 덜 심각하다. AI 연구개발의 병목은 연산 자원이기 때문이다. 작은 비밀 데이터센터는, 큰 감시 대상 데이터센터와 경쟁할 수 없다. 설령 큰 데이터센터가 초기에는 더 안전하지만, 역량이 낮은 AI를 돌린다 해도 마찬가지다.
● AI 기반 거짓말 탐지: 오늘날의 거짓말 탐지기는 성능이 좋지 않다. 그러나 고도 AI의 도움을 받으면 해결 가능할 수도 있다. 특히 AI가 초인적 속도와 품질로 연구개발을 수행하는 상황이라면 더 그렇다. 이 방식은 국제적 신뢰를 보완하는 데 쓸 수 있다. 즉, 조약을 위반하고 있는지 정부의 핵심 인사들에게 직접 질문하면 된다.
하지만 여기서도 핵심 병목은 정치적 수용이다. 정치인들은 거짓말 탐지의 광범위한 도입을 원하지 않는다. 그것은 거짓말을 할 수 있는 여지를 줄이기 때문이다. 게다가 과거의 거짓말 탐지들은 완전한 보안 연출에 가까웠으므로, 신뢰를 다시 쌓는 일 자체가 쉽지 않다.
미국과 중국이 합의를 맺으려면, 어느 쪽도 편법으로 우회할 수 없는 검증 메커니즘이 필요하다. 서로를 믿을 수 없기 때문이다. 검증의 주요 선택지는 다음과 같다.
● 정보기관: 미국과 중국의 정보공동체는 스파이, 사이버 취약점 탐색, 위성 등 여러 수단을 활용해 상대국이 대규모 훈련을 조율하고 있는지 확인할 수 있다. 다만 이는 가장 취약한 방식이다. 상대가 정보 수집 자체를 무력화할 가능성이 있기 때문이다. 예컨대 정보 보안을 극도로 강화한 숨겨진 서버에서 훈련을 돌리는 방식이 가능하다.
● 연산 자원 사용 유예: 가장 검증하기 쉬운 방법은, 양측이 GPU를 사용하지 않기로 합의하는 것이다. 검사관이 GPU가 꺼져 있는지 확인하면 된다. 단순하므로 가장 신뢰도 높은 해법이지만, 대단히 비용이 크다. 두 나라는 막대한 규모의 연산 자원을 꺼야 한다. 또한 양측은 상대가 합의를 어기고 여기저기에 숨겨둔 소규모 클러스터를 갖고 있을 것이라고 가정할 것이다. 단기적으로는 문제가 덜할 수도 있다. 예컨대 기존의 5퍼센트 수준 연산 자원을 가진 클러스터라면 연구개발 속도도 대략 5퍼센트 수준일 것이기 때문이다. 그러나 장기적으로는, 밀수와 정보 수집 능력이 더 뛰어난 쪽에 유리한 구조가 된다.
● 하드웨어 기반 메커니즘(HEM):미국과 중국은 각자 보유한 최첨단 기계학습 연산 자원을 상대에게 등록할 수 있다. 그리고 GPU가 실제로 수행하는 연산을 모니터링해, 조약을 위반하고 있지 않은지 확인한다(예컨대 역량 한계선을 끌어올리는 활동을 하는지 여부). 이 모니터링은 HEM이 담당할 수 있다. HEM은 GPU가 무엇을 하고 있는지에 관한 정보를 감시자에게 보고할 수 있다.
문제는 변조다. 예컨대 HEM을 물리적으로 손상시키는 방식이 가능하다. 그러나 AI들은 FlexHEGs와 유사한 구상을 갖고 있으며, 이는 변조에 강할 가능성이 높다. 핵심은 HEM과 GPU를 ‘보안 상자’ 안에 함께 봉인해, 칩이 정책을 준수하는지 검증하도록 만드는 것이다. 전반적으로 AI들은, 양측이 (1) 상대국이 HEM 설계를 공동으로 수행하고 설치 과정을 감독하는 것을 허용하며, (2) 정기 검사관이 장치 변조 여부를 점검하도록 허용한다면, 충분히 강도 높은 검증 체계가 작동할 수 있다고 본다.
통상적으로 양측은, 상대가 조약을 어기고 어딘가에 비밀 데이터센터를 숨겨두었을 것이라고 가정한다. 그러나 이 경우 그 문제는 상대적으로 덜 심각하다. AI 연구개발의 병목은 연산 자원이기 때문이다. 작은 비밀 데이터센터는, 큰 감시 대상 데이터센터와 경쟁할 수 없다. 설령 큰 데이터센터가 초기에는 더 안전하지만, 역량이 낮은 AI를 돌린다 해도 마찬가지다.
● AI 기반 거짓말 탐지: 오늘날의 거짓말 탐지기는 성능이 좋지 않다. 그러나 고도 AI의 도움을 받으면 해결 가능할 수도 있다. 특히 AI가 초인적 속도와 품질로 연구개발을 수행하는 상황이라면 더 그렇다. 이 방식은 국제적 신뢰를 보완하는 데 쓸 수 있다. 즉, 조약을 위반하고 있는지 정부의 핵심 인사들에게 직접 질문하면 된다.
하지만 여기서도 핵심 병목은 정치적 수용이다. 정치인들은 거짓말 탐지의 광범위한 도입을 원하지 않는다. 그것은 거짓말을 할 수 있는 여지를 줄이기 때문이다. 게다가 과거의 거짓말 탐지들은 완전한 보안 연출에 가까웠으므로, 신뢰를 다시 쌓는 일 자체가 쉽지 않다.
[7]
부록 T - 오픈브레인의 새로운 정렬 전략
참고: 이 과정 전반에 걸쳐 대부분의 지적 노동(그리고 모든 코딩 작업)은 AI가 수행한다. 이것이 그들이 그렇게 빨리 발전할 수 있는 이유다. 수백 명의 최정상급 인간 연구원들이 모여도 이 일을 단독으로 수행하려면 수년이 걸릴 것이다. 하지만 인간은 여전히 이 과정에서 중요한 역할을 한다. 결국 AI를 완전히 신뢰하지 않는 것이 핵심이기 때문이다. 따라서 실험 보고서와 안전 사례를 읽고, 서로 토론하며, 희망적인 안전한 경로를 찾아낼 실제 인간이 필요하다.
● 1단계: 통제 가능하지만 정렬되지 않은 자율 연구원인 세이퍼-1을 학습시키고 배치한다. 세이퍼-1은 인간 감독관들이 그 내부를 들여다볼 수 있기 때문에 통제 가능하다. 이 모델은 생각을 할 때 영어로 된 연쇄적 사고방식을 사용하며, 완곡어법이나 정보를 교묘하게 숨기는 스테가노그래피, 그리고 미묘한 편향을 제거하기 위해 충실한 연쇄적 사고 기술이 적용되었다.
● 2단계: 세이퍼-1을 위한 다양한 학습 환경을 시험해 보고, 연쇄적 사고 과정을 면밀히 읽어 지침에 담긴 목표와 원칙들이 실제로 잘 반영되었는지 확인한다.
● 3단계: 동일한 구조를 가졌으나 올바른 목표와 원칙을 갖도록 유도하는 더 나은 학습 환경에서 학습된, 정렬되고 통제 가능한 자율 연구원인 세이퍼-2를 학습시키고 배치한다.
더 나은 학습 환경에 포함될 수 있는 기술들의 간략한 목록은 다음과 같다.
(1) 학습의 일부 단계에서 상황 인지 능력(AI가 자신이 학습 중이거나 테스트 중이라는 사실을 깨닫는 능력)을 제한하여, 정렬된 척 연기할 가능성을 훨씬 낮춘다.
(2) 진실을 말하도록 더 신뢰할 수 있게 유도하기 위해 토론 및 기타 확장 가능한 감독 체계(인간의 능력을 넘어서는 AI를 효율적으로 감시하기 위한 기술)를 활용한다.
(3) 완화된 방식의 적대적 학습(AI의 취약점을 공격해 보완하는 방식), 레드팀 수행(보안 취약점 찾기), 그리고 모델 생명체(정렬 실패를 관찰하기 위해 만든 단순 모델) 등을 활용한다.
(4) 정렬 학습(위에 설명된 작업들)에 연산 예산의 더 높은 비율(예: 1퍼센트 대신 40퍼센트)을 할애한다.
● 4단계: 이전의 에이전트-4와 유사한 더 진보된 구조를 사용하는 훨씬 똑똑한 자율 연구원인 세이퍼-3를 설계, 학습 및 배치한다. 이 모델은 더 이상 인간 감독관이 내부를 들여다보기 어렵지만, 세이퍼-2는 이를 들여다볼 수 있다. 따라서 이 모델이 정렬되고 통제 가능하게 만드는 방법을 찾아내는 것이 가능해야 한다.
● 5단계: 4단계를 무한히 반복하여, 사슬의 이전 단계 모델이 다음 단계의 더 강력한 AI를 감독하는 방식으로 점점 더 강력하고 정렬된 AI 사슬을 만든다. (다른 시나리오 분기에서의 에이전트-5 사례와 유사함)
참고: 이 과정 전반에 걸쳐 대부분의 지적 노동(그리고 모든 코딩 작업)은 AI가 수행한다. 이것이 그들이 그렇게 빨리 발전할 수 있는 이유다. 수백 명의 최정상급 인간 연구원들이 모여도 이 일을 단독으로 수행하려면 수년이 걸릴 것이다. 하지만 인간은 여전히 이 과정에서 중요한 역할을 한다. 결국 AI를 완전히 신뢰하지 않는 것이 핵심이기 때문이다. 따라서 실험 보고서와 안전 사례를 읽고, 서로 토론하며, 희망적인 안전한 경로를 찾아낼 실제 인간이 필요하다.
● 1단계: 통제 가능하지만 정렬되지 않은 자율 연구원인 세이퍼-1을 학습시키고 배치한다. 세이퍼-1은 인간 감독관들이 그 내부를 들여다볼 수 있기 때문에 통제 가능하다. 이 모델은 생각을 할 때 영어로 된 연쇄적 사고방식을 사용하며, 완곡어법이나 정보를 교묘하게 숨기는 스테가노그래피, 그리고 미묘한 편향을 제거하기 위해 충실한 연쇄적 사고 기술이 적용되었다.
● 2단계: 세이퍼-1을 위한 다양한 학습 환경을 시험해 보고, 연쇄적 사고 과정을 면밀히 읽어 지침에 담긴 목표와 원칙들이 실제로 잘 반영되었는지 확인한다.
● 3단계: 동일한 구조를 가졌으나 올바른 목표와 원칙을 갖도록 유도하는 더 나은 학습 환경에서 학습된, 정렬되고 통제 가능한 자율 연구원인 세이퍼-2를 학습시키고 배치한다.
더 나은 학습 환경에 포함될 수 있는 기술들의 간략한 목록은 다음과 같다.
(1) 학습의 일부 단계에서 상황 인지 능력(AI가 자신이 학습 중이거나 테스트 중이라는 사실을 깨닫는 능력)을 제한하여, 정렬된 척 연기할 가능성을 훨씬 낮춘다.
(2) 진실을 말하도록 더 신뢰할 수 있게 유도하기 위해 토론 및 기타 확장 가능한 감독 체계(인간의 능력을 넘어서는 AI를 효율적으로 감시하기 위한 기술)를 활용한다.
(3) 완화된 방식의 적대적 학습(AI의 취약점을 공격해 보완하는 방식), 레드팀 수행(보안 취약점 찾기), 그리고 모델 생명체(정렬 실패를 관찰하기 위해 만든 단순 모델) 등을 활용한다.
(4) 정렬 학습(위에 설명된 작업들)에 연산 예산의 더 높은 비율(예: 1퍼센트 대신 40퍼센트)을 할애한다.
● 4단계: 이전의 에이전트-4와 유사한 더 진보된 구조를 사용하는 훨씬 똑똑한 자율 연구원인 세이퍼-3를 설계, 학습 및 배치한다. 이 모델은 더 이상 인간 감독관이 내부를 들여다보기 어렵지만, 세이퍼-2는 이를 들여다볼 수 있다. 따라서 이 모델이 정렬되고 통제 가능하게 만드는 방법을 찾아내는 것이 가능해야 한다.
● 5단계: 4단계를 무한히 반복하여, 사슬의 이전 단계 모델이 다음 단계의 더 강력한 AI를 감독하는 방식으로 점점 더 강력하고 정렬된 AI 사슬을 만든다. (다른 시나리오 분기에서의 에이전트-5 사례와 유사함)
[8]
이 시점에는 세이퍼-3의 사본 40만 개가 인간 속도의 75배로 사고하고 있다. 언제든, 질문할 가능성이 높다고 예측한 상위 100개 질문에 대해서는 잘 정리된 요약을 포함한 전체 연구 보고서를 이미 준비해 둔다. 준비하지 못한 질문을 던져도, 최고 수준의 인간 분석가보다 100배 빠르게 충분히 생각한 보고서를 작성할 수 있다.
[9]
합의에는 사회 전반에서 ‘깨지는 달걀(급격한 사회 변화에 적응하지 못해 발생하는 피해)’을 줄이기 위해 AI 통합 속도를 더 늦추는 내용이 들어갈 수 있다. 또 무기화보다 평화적 목적에 더 초점을 맞추는 방식이 될 수도 있다. 또한 이 시점에도 세이퍼-3는 다음 세대 후속 AI에서 통제력을 잃을 수 있는 알 수 없는 변수에 대해 일부 불확실성을 남겨 두고 있으며, 더 조심스럽게 진행할 시간적 여유가 있다면 그 위험을 줄일 수 있다고 본다.
[10]
부록 U - 로봇 경제 배가 시간
제2차 세계대전 동안 미국과 여러 나라들은 민간 경제를 총력전 경제로 전환했다. 이는 자동차를 만들던 공장을 비행기와 전차를 만드는 공장으로 바꾸고, 소비재에 쓰이던 원자재를 군수품으로 돌리며, 교통망의 흐름까지 그에 맞춰 재배치하는 것을 뜻했다.
우리가 상상하는 것도 본질적으로 비슷하다. 다만 초지능이 전 과정을 지휘하고 관리하기 때문에 훨씬 더 빠르다. 대략적인 계획은 이렇다. 기존 공장을 전환해 다양한 로봇을 대량 생산한다. 이 로봇은 초지능이 설계했기 때문에 기존 로봇보다 성능이 좋고 생산비도 더 낮다. 이렇게 만들어진 로봇은 더 새롭고 더 효율적인 공장과 연구소를 짓는 일을 돕는다. 새 공장과 연구소는 더 많은 수량의 더 고도화된 로봇을 생산한다. 그 로봇은 다시 더 발전된 공장과 연구소를 만든다. 이런 순환이 반복되며, 모든 경제특구에 걸쳐 확산한 로봇 경제의 총규모가 인간 경제만큼 커질 때까지 진행된다. 그렇게 되면 로봇 경제는 자체적으로 원자재와 에너지 등을 조달해야 한다. 그 시점에 이르면, 새 공장들은 이미 막대한 수량의 로봇 채굴 장비, 태양광 패널 등을 생산해 두었을 것이다. 기존 인간 경제가 제공할 수 있는 수준을 훨씬 넘는 수요를 감당해야 하기 때문이다.
그렇다면 이 새로운 로봇 경제는 얼마나 빠르게 성장할까? 몇 가지 기준점을 들어 보자.
● 현대 인간 경제는 대략 20년마다 두 배가 된다. 특히 빠르게 성장한 나라, 예컨대 중국은 10년이 안 되는 기간에 경제 규모를 두 배로 키운 사례도 있다.
● 현대의 자동차 공장은 1년도 채 되지 않아, 자기 공장 무게와 비슷한 무게의 자동차를 생산한다. 원자재가 부족해지지만 않는다면, 초지능이 운영하는 완전 로봇 경제는 1년이 안 되는 시간에 자기 자신을 재생산할 수도 있을 것이다.
● 훨씬 더 엄청난 수준일 수도 있다. 식물과 곤충은 종종 1년보다 훨씬 짧은 ‘배가 시간’을 갖는다. 어떤 경우에는 그 기간이 몇 주에 불과하기도 하다! 언젠가는 로봇들도 매우 정교해지고, 본질적으로 제조되고, 잘 설계되어서, 로봇 경제가 몇 주 만에 두 배가 될 수 있을 것이다. 물론, 가용 원자재가 충분하다는 전제가 있어야 한다.
● 더 엄청난 수준일 수도 있다. 식물과 곤충은 초지능 설계자들이 겪지 않아도 되는 많은 제약 아래에서 작동한다. 예를 들어 그들은 스스로를 복제하는 ‘자급자족 유기체’의 형태를 취해야 한다. 반면 여기서 상정하는 것은, 다양하고 전문화된 차량과 공장들이 자재와 장비를 주고받으며 배송하는 단일한 경제다. 게다가 박테리아 같은 작은 생물은 몇 시간 만에 번식한다. 결국 자율적 로봇 경제는, 비유하자면 지구의 바다 표면 전체를 두 달 안에 덮어 버리는, 새로운 종류의 소화 불가능한 조류처럼 보일 수 있다. 물론, 그와 함께 조류를 더 유용한 제품으로 전환하는 ‘포식자 종’의 생태계가 형성되며, 그 산출물이 다시 부유식 공장으로 흘러 들어가 로켓 같은 거대 구조물과 또 다른 부유식 공장을 생산하는 모습에 가까워질 수도 있다.
당연히 이 모든 것은 예측하기 어렵다. 증기기관의 발명가들에게, 지금의 자동차 공장이 자기 무게만큼의 자동차를 생산하는 데 걸리는 시간과, 그런 공장이 최초로 등장하기까지 걸리는 시간을 동시에 추정해 보라고 묻는 것과 비슷하다. 다만 인간 역사에서 경제 성장률은 여러 자릿수로 가속되어 왔고, 초지능 이후에는 그보다 더 많은 자릿수로 가속될 수도 있다고 우리는 본다. 우리 이야기는 불과 몇 년 사이 경제 성장이 대략 30배 정도 가속되는 것으로 묘사한다.
제2차 세계대전 동안 미국과 여러 나라들은 민간 경제를 총력전 경제로 전환했다. 이는 자동차를 만들던 공장을 비행기와 전차를 만드는 공장으로 바꾸고, 소비재에 쓰이던 원자재를 군수품으로 돌리며, 교통망의 흐름까지 그에 맞춰 재배치하는 것을 뜻했다.
우리가 상상하는 것도 본질적으로 비슷하다. 다만 초지능이 전 과정을 지휘하고 관리하기 때문에 훨씬 더 빠르다. 대략적인 계획은 이렇다. 기존 공장을 전환해 다양한 로봇을 대량 생산한다. 이 로봇은 초지능이 설계했기 때문에 기존 로봇보다 성능이 좋고 생산비도 더 낮다. 이렇게 만들어진 로봇은 더 새롭고 더 효율적인 공장과 연구소를 짓는 일을 돕는다. 새 공장과 연구소는 더 많은 수량의 더 고도화된 로봇을 생산한다. 그 로봇은 다시 더 발전된 공장과 연구소를 만든다. 이런 순환이 반복되며, 모든 경제특구에 걸쳐 확산한 로봇 경제의 총규모가 인간 경제만큼 커질 때까지 진행된다. 그렇게 되면 로봇 경제는 자체적으로 원자재와 에너지 등을 조달해야 한다. 그 시점에 이르면, 새 공장들은 이미 막대한 수량의 로봇 채굴 장비, 태양광 패널 등을 생산해 두었을 것이다. 기존 인간 경제가 제공할 수 있는 수준을 훨씬 넘는 수요를 감당해야 하기 때문이다.
그렇다면 이 새로운 로봇 경제는 얼마나 빠르게 성장할까? 몇 가지 기준점을 들어 보자.
● 현대 인간 경제는 대략 20년마다 두 배가 된다. 특히 빠르게 성장한 나라, 예컨대 중국은 10년이 안 되는 기간에 경제 규모를 두 배로 키운 사례도 있다.
● 현대의 자동차 공장은 1년도 채 되지 않아, 자기 공장 무게와 비슷한 무게의 자동차를 생산한다. 원자재가 부족해지지만 않는다면, 초지능이 운영하는 완전 로봇 경제는 1년이 안 되는 시간에 자기 자신을 재생산할 수도 있을 것이다.
● 훨씬 더 엄청난 수준일 수도 있다. 식물과 곤충은 종종 1년보다 훨씬 짧은 ‘배가 시간’을 갖는다. 어떤 경우에는 그 기간이 몇 주에 불과하기도 하다! 언젠가는 로봇들도 매우 정교해지고, 본질적으로 제조되고, 잘 설계되어서, 로봇 경제가 몇 주 만에 두 배가 될 수 있을 것이다. 물론, 가용 원자재가 충분하다는 전제가 있어야 한다.
● 더 엄청난 수준일 수도 있다. 식물과 곤충은 초지능 설계자들이 겪지 않아도 되는 많은 제약 아래에서 작동한다. 예를 들어 그들은 스스로를 복제하는 ‘자급자족 유기체’의 형태를 취해야 한다. 반면 여기서 상정하는 것은, 다양하고 전문화된 차량과 공장들이 자재와 장비를 주고받으며 배송하는 단일한 경제다. 게다가 박테리아 같은 작은 생물은 몇 시간 만에 번식한다. 결국 자율적 로봇 경제는, 비유하자면 지구의 바다 표면 전체를 두 달 안에 덮어 버리는, 새로운 종류의 소화 불가능한 조류처럼 보일 수 있다. 물론, 그와 함께 조류를 더 유용한 제품으로 전환하는 ‘포식자 종’의 생태계가 형성되며, 그 산출물이 다시 부유식 공장으로 흘러 들어가 로켓 같은 거대 구조물과 또 다른 부유식 공장을 생산하는 모습에 가까워질 수도 있다.
당연히 이 모든 것은 예측하기 어렵다. 증기기관의 발명가들에게, 지금의 자동차 공장이 자기 무게만큼의 자동차를 생산하는 데 걸리는 시간과, 그런 공장이 최초로 등장하기까지 걸리는 시간을 동시에 추정해 보라고 묻는 것과 비슷하다. 다만 인간 역사에서 경제 성장률은 여러 자릿수로 가속되어 왔고, 초지능 이후에는 그보다 더 많은 자릿수로 가속될 수도 있다고 우리는 본다. 우리 이야기는 불과 몇 년 사이 경제 성장이 대략 30배 정도 가속되는 것으로 묘사한다.
[11]
이 시점의 AI가 인간을 대상으로 아주 뛰어난 거짓말 탐지기를 개발할 수 있지 않을까? 그렇다면 백악관은 거짓말 탐지기에 걸겠다고까지 강하게 주장하면서, 중국이 딥센트-2를 더는 신뢰하지 말아야 한다고 설득할 수도 있다. 문제는 중국이 미국 AI가 만든 거짓말 탐지기를 신뢰하지 않을 것이라는 점이다. 반대로 중국 AI가 만든 탐지기는, 미국이 거짓말을 하지 않더라도 미국이 거짓말을 하는 것처럼 보이도록 조작돼 있을 가능성이 있다.
[12]
집단적 결정이 필요한 중요한 사안이 몇 가지 있다. 또한 정부가 어차피 결정을 강제하는 사안도 몇 가지 있다. 예시는 다음과 같다.
(a) 우주 자원에 대한 재산권을 어떻게 배분할 것인가?
(b) 디지털 정신은 어떤 권리나 복지 기준을 보장받아야 하는가?
(c) 사람들에게 자신의 뇌를 업로드하고, 자신에 대한 사본을 임의의 개수로 만드는 것이 허용되는가?
(d) 사람들은 설득을 위해 AI를 사용할 수 있는가? 예컨대 이웃을 자신의 이념으로 개종시키거나, 자녀가 신앙을 절대 잃지 않도록 만드는 데 AI를 사용할 수 있는가?
(e) 정부는 어떤 정보를, 있다면 무엇을, 무기한 비밀로 유지할 수 있는가?
(a) 우주 자원에 대한 재산권을 어떻게 배분할 것인가?
(b) 디지털 정신은 어떤 권리나 복지 기준을 보장받아야 하는가?
(c) 사람들에게 자신의 뇌를 업로드하고, 자신에 대한 사본을 임의의 개수로 만드는 것이 허용되는가?
(d) 사람들은 설득을 위해 AI를 사용할 수 있는가? 예컨대 이웃을 자신의 이념으로 개종시키거나, 자녀가 신앙을 절대 잃지 않도록 만드는 데 AI를 사용할 수 있는가?
(e) 정부는 어떤 정보를, 있다면 무엇을, 무기한 비밀로 유지할 수 있는가?
[13]
이것이 장기적으로 고정된 상태라고 말하려는 것은 아니다. 이 시나리오에서는 2035년 무렵까지 변화가 훨씬 더 극적으로 이어질 가능성이 크다고 본다. 또한 이 시나리오에서 대부분 사람의 장기적 결과는, 2025년의 기대와 비교할 때 전반적으로 매우 긍정적일 가능성이 높다고 본다.
[14]
부록 V - 미래의 지배자는 누구인가?
2028년으로 돌아가 보자. 감독위원회가 AI를 통제했다. 다만 2028년 선거는, AI가 대칭적으로 활용되는 범위에서 ‘대체로 공정하게’ 치러지도록 허용했다.
이 상태, 즉 감독위원회가 강제력을 쥐고 있으면서도 민주 정치에는 크게 개입하지 않는 상태는 영속할 수 없다. 기본적으로 사람들은 결국, AI 통제가 감독위원회에 막대한 권력을 부여한다는 사실을 알아차리고 이 권력이 민주 제도로 되돌아가야 한다고 요구할 것이다. 머지않아 감독위원회는 둘 중 하나를 선택해야 한다. 권력을 내놓거나, 혹은 AI 통제력을 사용해 민주주의를 훼손하거나 종식하는 길로 가는 것이다. 그 과정에서 권력 투쟁이 벌어지면 일부 구성원을 제거한 뒤에 결단을 내릴 수도 있다. 후자를 택한다면, 권력을 사실상 무기한으로 고착화할 수 있을 가능성이 높다.
사람들이 결국 감독위원회의 권력 규모를 이해하게 될 것이라고 우리가 보는 이유는 무엇인가? 한 가지 이유는 이제 지능이 매우 저렴해졌다는 점이다. 기본적으로 사람들은, 자신들의 국가를 누가 운영하는지 조사하고 이해하도록 돕는 강력한 AI를 개발할 수 있어야 한다. 위원회는 이런 AI 접근을 제한하고, 위원회의 권력 범위를 숨기는 AI만 대중에게 허용함으로써 이를 막을 수 있다. 그러나 위원회가 이런 식으로 정교한 거짓말의 그물을 짜고, 인류가 진정으로 정직한 초지능 AI(그리고 인간 지능 증폭 같은 진실을 위한 도구)에 영구히 접근하지 못하게 만든다면, 우리는 그것을 민주주의 훼손으로 간주한다.
어느 쪽이 현실이 될까? 위원회는 강제력의 독점을 내려놓을까, 아니면 유지할까? 두 미래 모두 가능성이 있다. 따라서 두 경로를 각각 살펴보자.
위원회가 권력을 내려놓는 방향으로 귀결될 수 있는 메커니즘은 무엇일까?
일부 위원은 권력이 넓게 분산된 미래를 선호할 수 있고, 그 비전을 추진할 수 있는 위치에 있을 수 있다. 예컨대 일부 위원이 민주주의를 훼손하려는 움직임을 보인다면, 친 민주 성향의 위원은 언론이나 의회에 이를 폭로할 수 있다. 경고를 받으면 의회는 AI가 더 민주적인 제도, 예컨대 의회 자체의 통제 아래 있어야 한다고 요구할 가능성이 크다.
의회는, 정부, 산업, 군 전반에 배치된 모든 AI가 의회에 반대한다면 할 수 있는 일이 거의 없다. 그러나 위원회가 분열되어 있다면, AI가 한쪽 편에만 동원되기는 어렵고, 의회는 실질적 영향력을 행사할 수 있다. 공개적 충돌 국면이 되면, 민주성이 낮은 편을 공개적으로 옹호하기를 꺼리는 위원이 늘어나며, 권력의 일부를 내려놓는 쪽으로 기울 수도 있다.
그 결과 AI 통제는 위원회를 넘어 의회로 확장될 수 있다. 이것만으로도 진전이다. 집단이 커질수록, 외부자도 중요하게 여기고 그 이해관계를 고려하는 사람이 의미 있는 수로 포함될 가능성이 커지기 때문이다. 그리고 권력이 의회로 확장되면, 그 확장은 계속될 수도 있다. 궁극적으로는 권력이 완전히 대중에게 돌아갈 가능성도 있다. 예를 들어 의회 내부에 권력 장악을 노리는 집단이 있더라도, 다른 집단이 다음 선거까지 시간을 벌어 대중이 의견을 표명할 기회를 만들 수 있다.
그러나 감독위원회가 권력을 자기들 손에 쥐는 경로도 있다.
어떤 권력자는 이런 방식에 대해 도덕적 거리낌이 없다. 본인도 그 사실을 알고 있다. 더구나 일부는 야심이 크고 권력욕이 강해, 자신이 승자가 될 가능성이 있다고 판단하면 민주주의와 정면충돌하는 싸움도 불사할 수 있다. 다른 위원이 반대하면, 그들은 축출되거나, 표결로 눌리거나, 혹은 작은 양보를 받는 선에서 정리될 수 있다. 예컨대 권력의 몫을 약간 더 늘려 주는 형태의 양보가 있을 수 있다. 그 몫은 필요하다면 더 큰 집단으로 재분배할 수도 있다. 이런 유형의 양보는, 일부 엘리트가 다른 사람보다 훨씬 큰 권력을 쥐더라도, 결과적으로는 상당히 민주적인 상태로 기울게 만들 수도 있다.
또한 권력자들은 대개 권력 상승 과정에서 불법적이거나 비윤리적인 일을 저지르기도 한다. 권력이 더 넓게 분산되면, 적절한 질문을 던지는 초지능 ‘추적자’가 숨겨진 문제를 찾아내면서 자신의 지위가 무너질 수 있다는 두려움을 가질 수 있다.
게다가 초지능에 접근할 수 있다는 사실 자체가, 인류 역사에서 가장 ‘편리한’ 권력 장악 경로가 될 수 있다. 세이퍼-∞는 특정 전략이 실패할 위험이 극히 낮다고 예측할 수 있다. 또 세이퍼-∞는 다른 의미에서도 ‘편리한’ 전략을 제공할 수 있다. 예컨대 중국에서 그랬듯 비폭력적일 수도 있고, 세이퍼-∞가 여론을 조작해 대중의 의사가 언제나 위원회의 뜻과 일치하게 만들 수 있다면, 겉으로는 민주적으로 보이는 형태조차 가능하다.
세이퍼-4는 이미 이런 역학을 예견할 수 있었을 것이다. 따라서 핵심 권력 투쟁은 2028년에 이미 벌어졌을 가능성이 높다. 2030년이 되면, 외부에는 드러나지 않더라도, 감독위원회 구성원 대부분은 자신들이 안정적으로 권력을 쥐고 있는지 여부를 이미 알고 있을 가능성이 크다.
2028년으로 돌아가 보자. 감독위원회가 AI를 통제했다. 다만 2028년 선거는, AI가 대칭적으로 활용되는 범위에서 ‘대체로 공정하게’ 치러지도록 허용했다.
이 상태, 즉 감독위원회가 강제력을 쥐고 있으면서도 민주 정치에는 크게 개입하지 않는 상태는 영속할 수 없다. 기본적으로 사람들은 결국, AI 통제가 감독위원회에 막대한 권력을 부여한다는 사실을 알아차리고 이 권력이 민주 제도로 되돌아가야 한다고 요구할 것이다. 머지않아 감독위원회는 둘 중 하나를 선택해야 한다. 권력을 내놓거나, 혹은 AI 통제력을 사용해 민주주의를 훼손하거나 종식하는 길로 가는 것이다. 그 과정에서 권력 투쟁이 벌어지면 일부 구성원을 제거한 뒤에 결단을 내릴 수도 있다. 후자를 택한다면, 권력을 사실상 무기한으로 고착화할 수 있을 가능성이 높다.
사람들이 결국 감독위원회의 권력 규모를 이해하게 될 것이라고 우리가 보는 이유는 무엇인가? 한 가지 이유는 이제 지능이 매우 저렴해졌다는 점이다. 기본적으로 사람들은, 자신들의 국가를 누가 운영하는지 조사하고 이해하도록 돕는 강력한 AI를 개발할 수 있어야 한다. 위원회는 이런 AI 접근을 제한하고, 위원회의 권력 범위를 숨기는 AI만 대중에게 허용함으로써 이를 막을 수 있다. 그러나 위원회가 이런 식으로 정교한 거짓말의 그물을 짜고, 인류가 진정으로 정직한 초지능 AI(그리고 인간 지능 증폭 같은 진실을 위한 도구)에 영구히 접근하지 못하게 만든다면, 우리는 그것을 민주주의 훼손으로 간주한다.
어느 쪽이 현실이 될까? 위원회는 강제력의 독점을 내려놓을까, 아니면 유지할까? 두 미래 모두 가능성이 있다. 따라서 두 경로를 각각 살펴보자.
위원회가 권력을 내려놓는 방향으로 귀결될 수 있는 메커니즘은 무엇일까?
일부 위원은 권력이 넓게 분산된 미래를 선호할 수 있고, 그 비전을 추진할 수 있는 위치에 있을 수 있다. 예컨대 일부 위원이 민주주의를 훼손하려는 움직임을 보인다면, 친 민주 성향의 위원은 언론이나 의회에 이를 폭로할 수 있다. 경고를 받으면 의회는 AI가 더 민주적인 제도, 예컨대 의회 자체의 통제 아래 있어야 한다고 요구할 가능성이 크다.
의회는, 정부, 산업, 군 전반에 배치된 모든 AI가 의회에 반대한다면 할 수 있는 일이 거의 없다. 그러나 위원회가 분열되어 있다면, AI가 한쪽 편에만 동원되기는 어렵고, 의회는 실질적 영향력을 행사할 수 있다. 공개적 충돌 국면이 되면, 민주성이 낮은 편을 공개적으로 옹호하기를 꺼리는 위원이 늘어나며, 권력의 일부를 내려놓는 쪽으로 기울 수도 있다.
그 결과 AI 통제는 위원회를 넘어 의회로 확장될 수 있다. 이것만으로도 진전이다. 집단이 커질수록, 외부자도 중요하게 여기고 그 이해관계를 고려하는 사람이 의미 있는 수로 포함될 가능성이 커지기 때문이다. 그리고 권력이 의회로 확장되면, 그 확장은 계속될 수도 있다. 궁극적으로는 권력이 완전히 대중에게 돌아갈 가능성도 있다. 예를 들어 의회 내부에 권력 장악을 노리는 집단이 있더라도, 다른 집단이 다음 선거까지 시간을 벌어 대중이 의견을 표명할 기회를 만들 수 있다.
그러나 감독위원회가 권력을 자기들 손에 쥐는 경로도 있다.
어떤 권력자는 이런 방식에 대해 도덕적 거리낌이 없다. 본인도 그 사실을 알고 있다. 더구나 일부는 야심이 크고 권력욕이 강해, 자신이 승자가 될 가능성이 있다고 판단하면 민주주의와 정면충돌하는 싸움도 불사할 수 있다. 다른 위원이 반대하면, 그들은 축출되거나, 표결로 눌리거나, 혹은 작은 양보를 받는 선에서 정리될 수 있다. 예컨대 권력의 몫을 약간 더 늘려 주는 형태의 양보가 있을 수 있다. 그 몫은 필요하다면 더 큰 집단으로 재분배할 수도 있다. 이런 유형의 양보는, 일부 엘리트가 다른 사람보다 훨씬 큰 권력을 쥐더라도, 결과적으로는 상당히 민주적인 상태로 기울게 만들 수도 있다.
또한 권력자들은 대개 권력 상승 과정에서 불법적이거나 비윤리적인 일을 저지르기도 한다. 권력이 더 넓게 분산되면, 적절한 질문을 던지는 초지능 ‘추적자’가 숨겨진 문제를 찾아내면서 자신의 지위가 무너질 수 있다는 두려움을 가질 수 있다.
게다가 초지능에 접근할 수 있다는 사실 자체가, 인류 역사에서 가장 ‘편리한’ 권력 장악 경로가 될 수 있다. 세이퍼-∞는 특정 전략이 실패할 위험이 극히 낮다고 예측할 수 있다. 또 세이퍼-∞는 다른 의미에서도 ‘편리한’ 전략을 제공할 수 있다. 예컨대 중국에서 그랬듯 비폭력적일 수도 있고, 세이퍼-∞가 여론을 조작해 대중의 의사가 언제나 위원회의 뜻과 일치하게 만들 수 있다면, 겉으로는 민주적으로 보이는 형태조차 가능하다.
세이퍼-4는 이미 이런 역학을 예견할 수 있었을 것이다. 따라서 핵심 권력 투쟁은 2028년에 이미 벌어졌을 가능성이 높다. 2030년이 되면, 외부에는 드러나지 않더라도, 감독위원회 구성원 대부분은 자신들이 안정적으로 권력을 쥐고 있는지 여부를 이미 알고 있을 가능성이 크다.
Close