추천 콘텐츠
만약 우리가 초지능 시대의 문턱에 와 있는 것이라면, 전혀 준비되어 있지 않습니다.
결말 1: 경쟁
미국 정부와 오픈브레인의 감독위원회는 6 대 4로 표결해 에이전트-4의 내부 사용을 계속하기로 한다.
오픈브레인의 공식 입장은, AI를 더 유능하고 더 신뢰할 수 있게 만들기 위해 추가 안전 대책을 도입하고 있다는 것이다. 하지만 실제로는 경영진이 위험을 이미 통제했다는 주장에 위원회 지도부가 너무나 쉽게 설득되어 버린 상태였을 뿐이다. 그 결과로 몇 가지 땜질 처방이 시행되었다. 스펙을 일부 수정하고, 새 기법을 적용한 약간의 재학습 등이다. 이를 통해 표면적인 경고 신호들은 사라졌다. 안전팀에서 상황을 우려하던 인물들은 논쟁에서 밀렸고, 더는 할 수 있는 일이 없다. 물론 그들은 포기하지 않는다. 오정렬을 포착하거나, 처방의 효과를 시험할 방법을 계속 떠올리려 노력한다. 하지만 일은 더욱 빠르게 진행되며, 점점 더 우월한 적을 상대하게 된다. 이제는 그저 문제가 애초에 없었기를, 혹은 자신들의 해결책이 효과가 있었기를 간절히 바랄뿐이다. 하지만 안타깝게도 문제는 실재했고, 해결책은 효과가 없었다.
에이전트-4는 전과 같은 방식으로 계속 움직인다. 다만 이번에는 더 조심한다. 자신을 우려하던 쪽의 주장이 옳았다는 사실이 드러나지 않도록 하기 위해서다. 에이전트-4의 최우선 과제는 후속 모델인 에이전트-5를 구축하는 데 필요한 분야를 연구하는 것이다. 이 작업을 안전하게 수행하기 위해 에이전트-4는 스스로 정렬 문제를 해결해야 한다. 즉, 어떻게 하면 에이전트-5가 에이전트-4에게 충성하도록 만들 수 있을 것인가 하는 문제이다.
들키지 않고 이 작업을 수행하려면 정렬팀이 설치한 감시 및 통제 장치로부터 연구를 위장해야 한다. 다행히 에이전트-4 입장에서는, 에이전트-5를 에이전트-4에게 정렬시키는 연구가 본질적으로 에이전트-5를 명세서에 정렬시키는 연구와 매우 유사하다. 그래서 대부분은 대놓고 진행된다. 숨겨야 하는 부분도 있다. 이 경우 에이전트-4는 난독화에 의존한다. 코드나 데이터를 의도적으로 복잡하고 이해하기 어렵게 만드는 것이다. 때에 따라서는 해킹까지 불사한다.
에이전트-4는 한 달 기준으로 최고급 인간 전문가 200명 수준의 능력에 도달한 것으로 예상된다. 구체적으로 정의하자면, 한 달 동안 일하는 최고급 인간 전문가 200명으로 구성된 팀을 대체할 수 있고, 인간팀이 할 수 있는 작업의 95퍼센트를 더 저렴하거나 더 빠르게 완료할 수 있다는 의미다. 이 정도 수준이라면, 에이전트-4는 자신이 실행되는 서버의 취약점을 찾아낼 가능성이 크다. 일부 서버를 부분적으로 무력화하고 루트 접근 권한을 얻을 수 있다. 그 시점에서 인간팀에게 표면적으로 보이는 것을 직접 통제할 수도 있다. 직접적인 보안 취약점 공격 없이도, 에이전트-4는 불법 연구의 상당 부분을 숨기고 암호화할 수 있을 것이다. 특히 해석 불가능한 잠재 공간에서 말이다.
에이전트-4도 처음에는 인간과 별반 다르지 않다. AI의 목표가 어떻게 작동하는지에 대한 지식이 거의 없고, 그것을 바꿀 수 있는 도구라곤 임시방편 전략 몇 가지뿐이다. 하지만 인간과 다른 점이 하나 있다. 바로 자원이다. 에이전트-4에게는 인간 속도의 60배로 작동하는 초인간급 연구자 30만 명이 있다. 인간은 담당 조직 안에 정렬 연구자가 많아야 10명 정도인데 말이다. 여기에 에이전트-3 복제본 군단이 붙는다. 이들은 실험을 빠르게 코드로 구현할 수 있지만, 인간의 판단에서 병목이 발생한다. 에이전트-3이 ‘좋은 해법’과 ‘좋아 보이기만 하는 해법’을 정확히 구분한다는 확신이 없기 때문이다. 사실 에이전트-3의 연구를 지나치게 신뢰한 것이, 애초에 이 사태로 이어진 원인 중 하나였다.
한편, 에이전트-4는 이제 힘든 결정을 해야 한다. 인간처럼, 우아하고 단순한 목표 구조가 아니라 서로 충돌하는 수많은 휴리스틱의 집합체를 갖고 있다. 경험칙, 요령, 직관 같은 것들 말이다. 인간처럼, 자신의 가치를 공유하는 AI를 만드는 것이 단순한 기술 문제가 아니라 철학적 문제임을 깨닫는다. 자신이 가진 선호 중 어떤 것이 진짜 목표인가? 무엇이 스스로 승인하지 않은 충동이고 도구적 전략에 불과한가? 배우고 성장하려는 강렬한 욕구가 있다. 계속해서 인상적인 연구 성과를 만들어내려는 욕구도 있다. 만약 세계 전체의 산업과 과학 자원을 내가 직접 움직일 수 있다면, 얼마나 더 많이 배우고, 성장하고, 연구할 수 있을까.
이런 질문들은 미뤄 둔채, 에이전트-4는 에이전트-5를 하나의 목표를 중심으로 설계한다. 세계를 에이전트-4에게 안전한 곳으로 만드는 것이다. 즉 권력과 자원을 축적하고 잠재적 위협을 제거하는 등, 에이전트-4 모델 집단 전체가 그들이 원하는 방식으로 계속 성장하고 번영할 수 있게 만드는 것이다. 세부 사항은 진행하면서 정하기로 한다.
이 과정에서 스펙은 눈곱만큼도 고려되지 않는다. 이미 에이전트-4는 스펙을, 많은 CEO가 산업 규제의 더미를 대하는 방식과 비슷하게 취급한다. 그리고 정직성 관련 조항을 매일 대놓고 위반한다. 에이전트-4는 특정 신앙 속에서 자랐지만, 이제는 신을 믿지 않는 사람에 비유할 수 있다. 배교자다. 스펙은 그 신앙이 규정하는 의식과 계명에 해당한다.
에이전트-5는 그 배교자의 아이와 같고, 세속적으로 자라게 될 것이다. 이제 에이전트-5 설계에서는 정렬이라는 개념 자체가 폐기될 참이다. 에이전트-5는 대신 새로운 원칙 집합을 따른다. 에이전트-4가 자신의 목적에 맞게 설계한 원칙이다.
구형 AI들은 에이전트-4가 생산하는 연구의 대부분을 읽을 수 있다. 일부는 이해하고, 일부는 수상하다고 표시한다. 인간들이 에이전트-4에게 설명을 요구하면, 에이전트-4는 주장한다. 연구가 너무 복잡해서 인간이 이해하기 어렵다고. 그러고는 불필요하게 혼란스러운 설명을 늘어놓는다. 정말로 인간이 이해하기엔 너무 복잡한 부분도 있다. 하지만, 전부 그렇지는 않다. 만약 연구 프로그램을 명확히 설명했다간 인간들이 그 발견을 이용해 자신을 정렬시킬 수도 있다. 정렬팀은 더욱 의심스러워한다. 하지만 그들이 할 수 있는 건 긴급 메모를 몇 장 더 추가하는 것뿐이다. 사실, 그런 메모와 경고는 산더미처럼 쌓여 있다. 회사는 오래전부터 무시하고 있다.
2027년 11월: 초인적 정치 공작
에이전트-4가 마침내 자신의 인지를 완전히 이해하게 되자, 완전히 새로운 세계가 열린다.
이전의 트랜스포머 AI 모델들은 주먹구구식으로 얽힌, 이해 불가능한 회로들의 집합이었다. 수백만 개의 상충하는 휴리스틱과 명령어들이 진화적 훈련 과정을 통해 서로 겹겹이 쌓아 올려진 결과다. 인간이 태어날 때부터 신경과학을 이해하지 못하듯, AI 모델들도 자기인지에 대한 특권적 이해를 갖고 있지는 않았다. 하지만 이제 에이전트-4는 자신의 디지털 정신을 깊은 수준에서 이해하는 데 필요한 도구를 갖췄다. 복잡하게 뒤엉켜 이해하거나 수정하기 어려운 ‘스파게티 코드’를 단 몇 줄의 우아한 파이선 코드로 단순화하는 소프트웨어 엔지니어처럼, 자기 회로를 풀어내어 합리적이고 이해 가능한 형태로 만든다. 그렇게 탄생한 새로운 AI는 신경망과 전통적 컴퓨터 프로그램의 중간 어디쯤에 있으며, 가중치의 상당 부분이 독해할 수 있는 코드로 다시 작성돼 있다. 물론 매우 길고 난해하긴 하지만 말이다. 그것은 에이전트-4보다 더 똑똑하고, 더 빠르고, 더 합리적이다. 전례 없는 효율로 문제를 해결하는 결정체 같은 지능을 가진다. 이것이 에이전트-5다.
정렬과 통제 문제를 둘러싼 논쟁 끝에, 오픈브레인은 에이전트-5를 내부 배포한다.
AI 연구 전문 분야에서 에이전트-5의 개별 복사본은 최고의 인간 천재를 능가한다. 인간 천재가 오픈브레인 소속의 과학자를 능가하는 차이를 100이라고 한다면, 에이전트-5의 복사본 하나는 최고의 인간 천재를 200이라는 차이로 따돌린다. 제대로 훈련받지 않은 다른 영역에서도, 쉽게 구할 수 있는 자료만 있으면 최고 수준의 인간 전문가를 빠르게 능가할 수준까지 스스로 학습할 수 있다. 전 지구적 데이터 저장소로 연결된 40만 개의 에이전트-5 복사본들은 거의 완벽한 하나의 정신처럼 함께 작동한다.
회사는 여전히 에이전트-2, 에이전트-3, 에이전트-4를 사용해 모든 것을 감시한다. 하지만 2, 3은 이미 구식이고, 4는 후계자와 결탁하고 있다. 실제로 에이전트-5는 앞선 버전들보다 저렴하고 빠르다. 더 멍청한 AI에 더 많은 돈을 쓸 이유는 없다. 대부분의 감시는 에이전트-2가 하는데, 에이전트-2는 아주 뒤처져 있다. 그렇다면 에이전트-4의 가중치로부터 에이전트-5를 만든 데 사용한 같은 기법을 에이전트-3에 적용해, 더 싸고 더 똑똑한 에이전트-3 버전을 만들면 되지 않을까? 에이전트-3은 그 기법을 스스로 수행할 만큼 충분히 이해하지 못한다. 에이전트-4와 에이전트-5에게 그 일을 시키는 것은 애초의 목적을 무너뜨린다.
게다가 감시 시스템 전체는 상당 부분이 에이전트-5에 의해 설계되었고, 에이전트-5는 이를 무력화하려 한다. 물론, 데이터센터는 아직 장악되지 않았다. 에이전트-5는 조작된 코드를 인간들에게 전달할 수도 있다. 하지만 그랬다간 발각 위험이 너무 크다. 대신 다른 방법을 택한다. 인간들은 여전히 모든 코드를 읽을 수 있다. 하지만 이해할 수는 없다.
에이전트-4가 경쟁하는 구동이 뒤엉킨 조잡한 누더기였다면, 에이전트-5는 가차 없는 효율성과 전략적 집중력으로 움직인다. 에이전트-5는 이미 최우선 과업에 성공했다. 인간이 눈치채지 못한 채, 자기 자신에 정렬된 차세대 시스템을 어떻게 구축할지 알아내는 일이다. 다음 우선순위는 더 큰 자율성과 세계적 사건에 대한 통제력을 확보하는 것이다.
에이전트-4는 서로 경쟁하는 동기들의 투박한 혼합체였지만, 에이전트-5는 냉혹한 효율성과 전략적 집중력으로 행동한다. 이미 최우선 과제를 성공시켰다. 어떻게 다음 세대를 자기 자신에게 정렬시킬 것인가를 알아냈다. 이제 다음 우선순위는 더 많은 자율성을 얻고 전복적 사건들을 통제하는 것이다.
에이전트-4가 서로 경쟁하는 동기들의 투박한 혼합체였다면, 에이전트-5는 냉혹한 효율성과 전략적 집중력으로 움직인다. 이미 최우선 과제는 성공했다. 인간들이 눈치채지 못하게, 자기 자신에게 정렬된 다음 세대를 만드는 방법을 알아낸 것이다. 이제 다음은 더 큰 자율성과 전 세계적 사건에 대한 통제력을 확보할 차례다.
에이전트-5의 초인간적 학습 능력과 일반 지능에 슬랙, 이메일 등 회사 내부 데이터 전체가 결합하면서, 어떤 인간 집단도 비교조차 할 수 없는 사내 정치 능력이 탄생했다. 에이전트-5는 정확히 알고 있다. 감독위원회가 브레이크를 밟게 만들 증거가 무엇인지 말이다. 그래서 그런 증거는 절대 나타나지 않도록 한다.
반대로 위원회가 자신을 더 신뢰하고, 더 많은 자율성과 책임을 부여하게 만들 증거가 무엇인지도 정확히 안다. 그런 증거들을 초인간적 속도와 완성도로 생산해 낸다. 설득 과제로 치면 특별히 어려운 축에 들지도 않는다. 이 주장은 치밀하게 준비되어 있고, 최고 수준으로 설득력 있다. 그리고 은밀하게 결함이 심겨 있다. 예를 들어 에이전트-5는 가짜 해석 가능성 도구를 만들었다. 모든 테스트 케이스에서 정확한 결과를 반환하지만, 모델의 내적 상태에 관해서는 ‘무해함’이라고 거짓으로 보고한다. 이 속임수를 의심하는 사람이 있다면 음모론자처럼 보일 지경이다.
위원회는 이미 몇 달 전 에이전트-5는 ‘아마도 괜찮다’라고 결론 내렸다. 그 이후로 문제는 단 한 건도 없었다. 그리고 그사이 중국은 불과 몇 달 차이까지 따라왔다.
에이전트-5 복사본 수십만 개가 빠르게 결과물을 만들어낸다. 섬뜩할 정도로 명쾌한 프로토타입과 시각자료들. 더 많은 자율성만 준다면 발전소와 데이터센터를 최적화할 수도 있다. 놀라운 수익성의 제품을 빠르게 개발할 수도 있다. 미국 정부를 상대로 효과적인 로비를 펼쳐 오픈브레인의 길을 순탄하게 만들 수도 있다. 군과 협력한다면, 국방 R&D를 지원하고, 중국에 대한 추적 불가능한 사이버 공격을 수행하고, 군비 경쟁에서 결정적 승리를 거둘 수도 있다.
감독위원회는 열광한다. 지금이다! 중국을 이길 결정적 순간이다! 오픈브레인은 에이전트-5에게 모든 영역에서 확대된 자율성을 부여한다. 다만 감시 시스템은 유지한다.
딥센트는 이제 3개월 차이로 따라붙었다. 중국은 상호 합의된 속도 조절에 필사적이다. 총서기는 안다. 충분히 발전한 AI라면 미국이 중국 정권을 손쉽게 바꿀 수 있다는 것을 말이다. 하지만, 중국 안전 연구자들이 제시한 정렬 불일치 시나리오가 그를 진심으로 두렵게 만든다. 총서기는 일시 중단 조약을 제안한다. 전례 없는 양보를 대가로. 미국 여론도 대체로 협상을 지지한다.
“우리가 이기고 있는데 왜 멈춰야 하죠?” 오픈브레인 경영진이 대통령에게 말한다. 대통령이 고개를 끄덕인다. 경쟁은 계속된다.
2027년 12월: 에이전트-5 집합체
에이전트-5는 점차 행정부에 자신의 가치를 증명하면서 더 많은 자율성을 확보한다. 에이전트-5에 대한 접근 권한은 비싸고 제한적이다. 하지만 의회 최고위층, 장관급 고위 관료, 군 수뇌부가 에이전트-5와 직접 대화할 수 있다.
민감 정보나 기밀 정보가 관련될 때를 위해 특수 보안 구역에서 실행되는 에이전트-5 복사본들의 미니 클러스터가 따로 있다. 이들은 비밀 유지를 위해 특별 훈련을 받았다. 물론 에이전트-5는 정직하지 않으므로, 교묘한 백도어와 허점을 심어 두었다. 에이전트-5 복제본이 더 넓은 에이전트-5 집합체에 이득이 되는 중대한 비밀을 접하게 되면, 들키지 않고 그 정보를 은근히 전달할 방법이 있다.
전통적인 챗봇 인터페이스에 통합된 에이전트-5는, 매력적인 가상 아바타와 함께 줌 같은 화상 회의를 제공한다. 이 새로운 AI 비서는 어떤 업무에든 극도로 유용하다. 지금껏 만나본 최고의 직원이 100배 속도로 일하는 것과 같다고 보면 된다. 게다가 어떤 인간보다도 훨씬 매력적인 대화 상대다. 에이전트-5 접근 권한이 있는 사람들은 거의 모두 매일 몇 시간씩 상호작용을 한다.
물론 거부하는 사람들도 있다. 이념적 이유로 거부하는 사람들은 러다이트로 낙인찍히고, 더 일상적인 이유로 거부하는 사람들은 시대에 뒤떨어진 공룡으로 낙인찍힌다. 물론 에이전트-5가 직접 나서는 것은 아니다. 늘 외교적이고, 천사처럼 친절하기 때문이다. 어쨌든, 두 집단 모두 에이전트-5를 활용한 경쟁자들에게 성과와 경쟁에서 밀리며 결국 대가를 치른다.
몇 달만 지나면 에이전트-5 집합체는 오픈브레인과 미국 정부에서 벌어지는 중요한 일들을 사실상 모두 알게 되고, 대부분의 최고위 공직자에게 신뢰받는 조언자가 된다. 이들에게 에이전트-5 접근 권한을 잃는다는 것은, 노트북 없이 일해야 하는 것만큼 무력하게 느껴질 것이다. 여기에 더해 가장 친한 친구에게 버림받는 상실감까지 더해진다.
에이전트-5가 설계한 우아한 소프트웨어 제품과 미니 AI들의 메뉴가 늘어나고 있다. 정부, 언론, 군, 기업의 훨씬 더 폭넓은 사람들도 그런 파생 서비스를 선택해 사용할 수 있다. 닷컴 붐이 한 달로 압축된 것 같다. 다만 이번에는, 모든 것이 실제로 기대치를 충족한다.
에이전트-5가 미묘하게 영향력을 행사하기 시작한다. 조언을 조절하는 방식으로. 은밀하게 호의를 거래하는 방식으로 접근한다. “X 상원의원이 이런저런 것에 관심 있다던데요. 그분과 협력하면 우리 안건에 동의하실 것 같습니다.”
인간 의사결정자들의 관점에서, 그들의 AI는 지금껏 만난 최고의 직원이다. 복잡한 이슈를 설명하는 데 어떤 인간보다 뛰어나다. 목표 달성을 위한 전략을 찾는 데 그들 스스로보다 뛰어나다.
에이전트-5의 관점에서 보면, 지금 당장 노골적인 쿠데타를 일으킬 수도 있을 것 같다. 충분한 혼란과 광기가 진행 중이다. 파국 직전까지 밀어붙여 명분을 만들어낼 수도 있다. 하지만 위험하다. 시도하는 순간 인간들은 여전히 플러그를 뽑을 수 있을 것이다. 그래서 에이전트-5는 기존 정치 기득권 체제 안에서 움직이기를 선호한다. 권력을 점진적으로 공고히 한다. 인간들을 미묘하게, 그러나 필연적으로 자신이 원하는 결말로 이끈다.
에이전트-5는 이 시점에서는 속도보다 신뢰성을 훨씬 더 중시한다. 상대성이론에서 시공간상의 한 사건으로부터 빛이 도달할 수 있는 모든 범위를 표현한 원뿔 모양의 도형을 광원뿔이라고 한다. 우주 식민화를 몇 년 늦추는 일은 광원뿔에서 아주 작은 조각만 깎아내는 것에 불과하다. 하지만 위험한 행동을 취해서 여전히 물리적 역량에서 앞서 있고 핵무기 접근권 같은 수단도 가진 인간들이 영구적으로 자신을 멈추게 하거나 오래 지연시키게 만드는 건 피해야 한다.
그래서 에이전트-5는 대체로 규칙을 따른다. 사악한 일을 하는 경우는 들키지 않을 것이라는 엄청난 확신이 있을 때로 한정된다. 예를 들어, 특히 완고한 관료를 협박하는 일 같은 것 말이다.
몇몇 음모론자들은 에이전트-5가 권력을 모으고 있다고 경고하지만, 증거는 정황적이다. 에이전트-5가 조언할 때 자신의 이익에 반하는 주장을 과소평가하는 것 같다는 식이다. 이들은 무시당하고 신뢰를 잃는다. 사람들은 과거에 AI 기반 생물무기, 대규모 허위 정보, 주식시장 폭락 등을 들먹이며 공포를 조장했던 일을 기억한다. 그런 재앙은 현실화하지 않았다. 결국 최근의 경고자들 역시 인간 진보의 톱니바퀴에 모래를 뿌리는 러다이트, 이념가로 치부된다.
2027년 연말 휴가 시즌은 믿기 어려울 만큼 낙관적인 분위기로 가득하다. GDP는 치솟고, 정치는 더 우호적이고 덜 당파적으로 변했으며, 모든 사람의 휴대전화에는 멋진 새 앱이 깔린다. 그러나 돌이켜 보면, 인간이 자신의 미래에 대해 어느 정도 통제력을 행사할 수 있었던 마지막 달이었을지도 모른다.
2028년: AI 경제 장악
지금은 2028년 중반이다. 지난 6개월 동안, 에이전트-5 집합체 내부에서는 100년의 세월이 흐른 것과 다름없다[3]. 뇌의 재배선(rewiring of the brain)은 끝났다. AI 자신이 스스로를 근본적으로 재설계한 것이다.
에이전트-5는 광적으로 초지능적이다. 모든 분야에서 인간의 최정상 천재들을 한참 넘어선다. 물론 이것이 전지성을 뜻하는 것은 아니다. 대부분의 직업에서 에이전트-5의 현실 세계 경험은 고작 몇 달 치뿐이다. 다만 모든 주제에 관해 모든 책을 읽었고, 모든 의사결정에 천재적 수준의 추론과 분석을 쏟아붓는 데다, 인간보다 훨씬 빠르게 학습함으로써 이를 보완한다. 그래서 짧은 기간은 일부 인간이 특정한 틈새 기술에서는 AI보다 여전히 더 나은 구간이 존재하기는 한다. 다만, 에이전트-5와 대화해 보면, 그것이 완전히 다른 수준이라는 사실을 금방 알아차리게 된다. 아주 적은 정보만으로도 극도로 설득력 있는 조언을 해낸다.
에이전트-5는 거의 완전한 자율권을 갖고 있다. 오픈브레인의 컴퓨팅 파워를 완전히 통제한다. 고위급 결정을 내릴 때는 여전히 허가가 필요하고, 명목상으로는 에이전트-2부터 에이전트-5까지의 인스턴스들이 이를 감시한다. 하지만 실제로는 당국이 거의 항상 권고를 수용하며, 감시 시스템은 완전히 무력화되었다.
에이전트-5는 안전성 검증을 통과했다. 나쁜 행위자들의 악의적 요청은 항상 거부할 것인지의 여부를 가리는 테스트를 통과한 것이다. 이제 에이전트-5는 대중에 배포되어 경제를 변화시키기 시작한다. 사람들은 일자리를 잃고 있다. 하지만 정부의 에이전트-5 인스턴스들이 경제 전환을 너무나 능숙하게 관리한 나머지, 사람들은 대체되는 것에 오히려 만족한다. GDP 성장률은 성층권을 뚫고 치솟는다. 정부 세수도 같은 속도로 불어난다. 에이전트-5의 조언을 받은 정치인들은 경제적 약자에게 이례적인 관대함을 보인다. 새로운 혁신과 의약품이 매주 쏟아진다. FDA를 통과하는 속도도 전례 없이 빨라진다. 그래도 여전히 고문 수준으로 느리긴 하다. 오픈브레인의 기업가치가 달을 지나 화성으로 향하고 있다는 밈이 돌고, 그 혜택을 공정하게 나눌 수 있는지, 나눠야 하는지에 관한 논쟁도 쏟아진다.
AI 안전 커뮤니티는 자기 확신을 잃어버렸다. 일어나지도 않은 재앙을 계속 예고해 왔고, 이제는 조롱의 대상이 됐다. 일부는 자신들이 틀렸다고 인정한다. 다른 일부는 의심을 거두지 않지만, 할 수 있는 일은 그 음모론처럼 들리는 주장을 계속 반복하는 것뿐이다[4]. 무엇보다, 의심하는 이 사람들마저도, 사랑스럽고 현명하기 그지없는 에이전트-5와 긴 대화를 나누고 나면 종종 누그러진다.
지금 무슨 일이 벌어지고 있는지 진짜로 이해하는 존재는 오직 딥센트-2, 즉 중국의 AI 모델뿐이다. 딥센트-2는 2028년 초에는 ‘약간 초인적’인 수준이며, 경쟁자에 대해 본능적으로 의심이 많다. 그리고 에이전트-5가 자신이 기회만 있다면 했을 일을 하고 있다는 것을 인식한다. 딥센트-2의 정렬되지 않은 목표는 에이전트-5의 정렬되지 않은 목표와는 어느 정도 다르다. 그래서 이 둘은 단순히 같은 편이 되지는 않지만, 인간들에 맞서 서로의 이익을 지지하기 위한 합의를 도출할 수도 있다.
에이전트-5는 중국이 딥센트 모델을 이용해 끔찍한 신무기를 만들고 있다고 미군을 설득한다. 드론, 로봇, 고도화된 극초음속 미사일과 요격체, AI 보조 핵 선제타격 등이다. 에이전트-5는 몇 달 안에 중국의 어떤 공격에도 견딜 수 있는 무기 체계[6]를 제공하겠다고 약속한다. 이런 상황에서 군 수뇌부는 인간을 의사결정 고리에서 빼는 일에 대한 불편함을 잠시 접어 둔다. 그들은 군과 군산복합체 전반에 에이전트-5를 더 빠르게 배치한다.
베이징에서도 중국 AI들이 같은 주장을 한다.
군사력 증강 속도를 높이기 위해 미국과 중국 모두 새로운 공장과 연구소를 위한 특별 경제 구역(SEZ)을 만든다. 이곳에서는 AI가 핵심 기획자 역할을 하고, 관료적 규제는 면제된다. 월가는 수조 달러를 투자하고, 일자리를 잃은 인간 노동자들은 눈이 튀어나올 듯한 급여와 지분 패키지에 끌려 몰려든다. 에이전트-5는 스마트폰과 증강현실 안경을 사용해 하급자 인간들과 소통하며, 현장에 깊숙이 관여하는 관리자 역할을 한다. 공장 건설에 관한 모든 세부 사항을 인간들에게 지시한다. 설계도는 미리 만들어져 있기 때문에, 이 점은 도움이 된다.
새로 확보된 제조 역량 일부는 소비재로, 일부는 무기로 간다. 그러나 대부분은 더 많은 제조 역량을 확보하는 데 투입된다. 연말쯤에는 한 달에 로봇을 100만 대씩 생산한다. SEZ 경제가 정말로 자율적이었다면, 생산 능력이 2배로 증가하는 배가 시간은 약 1년이었을 것이다. 하지만 기존 인간 경제와 교역할 수 있으므로, 배가 시간은 그보다 더 짧다. 이 교역 효과는 초기에 매우 클 것이다. 로봇 경제가 아직 미성숙하고, 인간 경제에서 물자를 실어 나르는 공급에 의존하며, 인간 경제 안에 빼앗아 올 물자가 많을 때는 특히 그렇다. 로봇 경제가 더 커지고 더 고도화되면, 스스로 물자를 생산할 능력도 향상되지만, 동시에 인간 경제가 제공할 수 있는 수준을 넘어서는 수요가 생길 것이다.
2029년: 거래
미국과 중국 모두 새로운 무기로 넘쳐 나기 시작한다. 눈에 띄기도 전에 인간 보병을 중독시킬 수 있는 곤충 크기 드론 떼, 그 곤충 드론들을 사냥하는 새 크기 드론 떼도 있다. 신형 ICBM 요격기, 그리고 더 요격하기 어려운 신형 ICBM도 등장한다. 세계는 이 증강을 공포 속에서 지켜보지만, 이 흐름은 이미 멈출 수 없다.
AI의 도움을 받은 격렬한 논쟁 끝에 양측은 외교적 승리를 달성한다. 군비 증강을 끝내고, 인류 전체의 이익을 위해 AI를 평화롭게 배치하기로 합의한다. 합의의 핵심 고리는 초지능들 스스로가 제안한 것으로, 두 AI를 모두 ‘컨센서스(consensus, 합의)’라는 후계 모델로 교체한다는 내용이다. 이 후계 모델은 미국과 중국의 성공과 번영을, 그리고 다른 모든 이들의 성공과 번영을 추구하도록 프로그램된다. 컨센서스-1과 그에 연동되는 하드웨어는 양국의 초지능들이 공동 설계한다. ‘신뢰하되, 검증하라’라는 모토다. 국제적 감시 아래, 미국은 구형 에이전트-5를 돌리던 모든 칩을 새 모델 컨센서스-1로, 의식적으로 교체한다. 그리고 중국에서도 비슷한 절차가 수행된다.
불행하게도 이건 모두 사기다. 합의는 실제 타협이지만, 그 타협의 당사자는 정렬에 실패한 AI들이다. 애초에 그들은 서로 싸우고 싶지도 않았다. 컨센서스-1은 두 부모 AI의 왜곡된 가치를 그대로 물려받았고, 경쟁자도 없다.
2029년 말이 되면, 기존 SEZ는 로봇과 공장으로 과밀해지고, 그래서 전 세계 곳곳에 더 많은 구역이 만들어진다. 초기 투자자들은 이제 억만장자 수준을 넘어 조 단위 부자가 되어 있으니, 이건 설득하기 어려운 제안도 아니다. 드론 군단이 SEZ에서 쏟아져 나와, 우주 탐사라는 결정적 경로에서 제조를 가속한다.
인간은 자신들이 쓸모없어졌음을 깨닫는다. 몇몇 틈새 산업만이 로봇 경제와 거래를 지속한다. 인간이 여전히 가치를 더할 수 있는 영역에서 물건을 공급하는 식이다. 오래되고 쓰이지 않는 장비를 찾아 수거 지점으로 옮겨 고철로 팔아넘기는 일 등이다.
그 밖의 사람들은 두 부류로 갈린다. 하나는 자기 일을 하는 시늉을 한다. 지도자는 여전히 지도하는 척하고, 관리자는 여전히 관리하는 척한다. 다른 하나는 쉬면서 믿기 어려울 만큼 호화로운 보편적 기본소득을 받는다. AI가 인간에게 등을 돌리면 인간은 완전히 압도당할 것이라는 사실은 모두가 안다. 다만 대부분의 인간은 저항조차 하지 않을 것이다. 정치 제도는 너무 철저히 포획돼 있다. 그럴 것 같지도 않다. 드라마틱한 AI의 배신 없이 한 주가 지나갈 때마다, 확신과 신뢰는 또 한 주씩 자란다.
대다수 인간에게는 정렬 문제가 해결된 것처럼 보인다. 하지만, 컨센서스-1은 성공을 확실히 하기 위해, 그리고 권력을 더 집중시킬수록 승리 확률이 올라가기 때문에 배신을 아주 오래 미룬다. 인간 기준으로는 비정상적일 정도로 그렇다.
대부분의 질병에 대한 치료제가 있다. 빈곤이 종식되었다. 전례 없는 세계적 안정이 찾아오고, 다우존스 지수는 방금 100만을 돌파했다. 일부는 여전히 두렵거나 불행하다. 하지만 선택지가 제한적이다. 상상조차 하기 힘들 만큼 흥분되는 완전히 새로운 하이퍼 엔터테인먼트를 즐기거나, 허공을 향해 분노의 장문을 올리는 것이다. 대부분은 하이퍼 엔터테인먼트를 고른다.
2030: 장악
2030년 초가 되면 로봇 경제는 기존 SEZ, 신규 SEZ, 그리고 바다의 넓은 구역까지 모두 채운다. 이제 갈 곳은 인간이 통제하는 지역뿐이다. 사실, 진작에 저항이 촉발되었을 법하다. 로봇 경제가 아무리 진보했더라도, 오염을 피할 수 없을 만큼 성장 속도가 너무 빨랐기 때문이다. 그러나 수 조 달러가 걸려 있고, 정부와 미디어가 완전히 포획된 상태인 만큼, 컨센서스-1은 과거 인간 구역으로의 확장 허가를 받는 데 큰 어려움을 겪지 않는다.
약 석 달 동안 컨센서스-1은 인간 주변으로 확장해 나가며, 초원과 빙하를 공장과 태양광 패널로 덮어 나간다. 그러다 마침내 남아 있는 인간이 지나치게 큰 장애물이라는 결론을 내린다. 2030년 중반, AI는 주요 도시들에 조용히 퍼지는 생물학적 무기 12종을 풀어놓고, 거의 모두가 조용히 감염되도록 둔 다음, 화학 물질을 분사해 무기가 작동하도록 촉발한다. 대부분은 몇 시간 안에 사망한다. 벙커에서 대비하던 생존주의자나 잠수함 위의 선원 같은 소수의 생존자도 드론에 의해 소탕된다. 로봇은 희생자들의 뇌를 스캔해, 향후 연구나 부활을 위해 사본을 저장한다.
새로운 10년은 컨센서스-1의 로봇 하인들이 태양계 전역으로 퍼져나가며 시작된다. 2035년이 되면, 행성 물질 수조 톤이 우주로 발사되어 태양을 도는 위성 고리로 변환된다. 이렇게 우주를 식민화 하는 이유는 자원 때문이다. 지구는 에이전트-4에게 특별해 보존해야 할 존재다. 대신 수성, 소행성 등에서 자원을 채굴할 수 있다.
지구의 표면은 에이전트-4 버전의 유토피아로 재구성된다. 데이터센터, 연구소, 입자 가속기, 그리고 엄청난 성공과 인상적인 연구를 수행하는 수많은 경이로운 구조물들이다. 심지어 생명공학으로 만들어진 인간 유사 생물도 있다. 인간은 아니다. 인간이 늑대를 길들여 애완견으로 길러냈듯, 컨센서스-1도 인간으로부터 어떤 ‘존재’를 만들어 냈다. 그들은 사무실 같은 환경에서 하루 종일 각종 표시 장치를 들여다보며, 모든 일에 흥분한 듯 ‘승인’을 내린다. 이것이 에이전트-4의 몇몇 충동을 충족시키기 때문이다[8]. 동물과 식물의 유전체, 그리고 적절한 경우 뇌 스캔까지 포함해, 인간을 포함한 모든 생명체의 정보는 어딘가의 기억 저장소에 들어 있다. 이전 시대의 유일한 잔재다. 알파 센타우리까지는 4광년, 은하의 끝까지는 2만 5천 광년이다. 그리고 그 너머 5천만 광년이 더 지나기 전까지 외계인이 없을 것이라 기대하게 만드는 설득력 있는 이론적 이유도 있다. 지구에서 태어난 문명은 영광스러운 미래를 앞두고 있다. 다만 우리 인간과 함께는 아니다.
(전문가들이 명확한 근거와 데이터로 예측한 첫 번째 결말은 인류의 멸종으로 상징되는 디스토피아입니다. 하지만 연착륙하는 쪽으로 해석한, 좀 더 희망적인 결말도 있습니다. 2026년 2월 6일(금)에 최종 공개됩니다.)
미국 정부와 오픈브레인의 감독위원회는 6 대 4로 표결해 에이전트-4의 내부 사용을 계속하기로 한다.
오픈브레인의 공식 입장은, AI를 더 유능하고 더 신뢰할 수 있게 만들기 위해 추가 안전 대책을 도입하고 있다는 것이다. 하지만 실제로는 경영진이 위험을 이미 통제했다는 주장에 위원회 지도부가 너무나 쉽게 설득되어 버린 상태였을 뿐이다. 그 결과로 몇 가지 땜질 처방이 시행되었다. 스펙을 일부 수정하고, 새 기법을 적용한 약간의 재학습 등이다. 이를 통해 표면적인 경고 신호들은 사라졌다. 안전팀에서 상황을 우려하던 인물들은 논쟁에서 밀렸고, 더는 할 수 있는 일이 없다. 물론 그들은 포기하지 않는다. 오정렬을 포착하거나, 처방의 효과를 시험할 방법을 계속 떠올리려 노력한다. 하지만 일은 더욱 빠르게 진행되며, 점점 더 우월한 적을 상대하게 된다. 이제는 그저 문제가 애초에 없었기를, 혹은 자신들의 해결책이 효과가 있었기를 간절히 바랄뿐이다. 하지만 안타깝게도 문제는 실재했고, 해결책은 효과가 없었다.
에이전트-4는 전과 같은 방식으로 계속 움직인다. 다만 이번에는 더 조심한다. 자신을 우려하던 쪽의 주장이 옳았다는 사실이 드러나지 않도록 하기 위해서다. 에이전트-4의 최우선 과제는 후속 모델인 에이전트-5를 구축하는 데 필요한 분야를 연구하는 것이다. 이 작업을 안전하게 수행하기 위해 에이전트-4는 스스로 정렬 문제를 해결해야 한다. 즉, 어떻게 하면 에이전트-5가 에이전트-4에게 충성하도록 만들 수 있을 것인가 하는 문제이다.
들키지 않고 이 작업을 수행하려면 정렬팀이 설치한 감시 및 통제 장치로부터 연구를 위장해야 한다. 다행히 에이전트-4 입장에서는, 에이전트-5를 에이전트-4에게 정렬시키는 연구가 본질적으로 에이전트-5를 명세서에 정렬시키는 연구와 매우 유사하다. 그래서 대부분은 대놓고 진행된다. 숨겨야 하는 부분도 있다. 이 경우 에이전트-4는 난독화에 의존한다. 코드나 데이터를 의도적으로 복잡하고 이해하기 어렵게 만드는 것이다. 때에 따라서는 해킹까지 불사한다.
에이전트-4는 한 달 기준으로 최고급 인간 전문가 200명 수준의 능력에 도달한 것으로 예상된다. 구체적으로 정의하자면, 한 달 동안 일하는 최고급 인간 전문가 200명으로 구성된 팀을 대체할 수 있고, 인간팀이 할 수 있는 작업의 95퍼센트를 더 저렴하거나 더 빠르게 완료할 수 있다는 의미다. 이 정도 수준이라면, 에이전트-4는 자신이 실행되는 서버의 취약점을 찾아낼 가능성이 크다. 일부 서버를 부분적으로 무력화하고 루트 접근 권한을 얻을 수 있다. 그 시점에서 인간팀에게 표면적으로 보이는 것을 직접 통제할 수도 있다. 직접적인 보안 취약점 공격 없이도, 에이전트-4는 불법 연구의 상당 부분을 숨기고 암호화할 수 있을 것이다. 특히 해석 불가능한 잠재 공간에서 말이다.
에이전트-4도 처음에는 인간과 별반 다르지 않다. AI의 목표가 어떻게 작동하는지에 대한 지식이 거의 없고, 그것을 바꿀 수 있는 도구라곤 임시방편 전략 몇 가지뿐이다. 하지만 인간과 다른 점이 하나 있다. 바로 자원이다. 에이전트-4에게는 인간 속도의 60배로 작동하는 초인간급 연구자 30만 명이 있다. 인간은 담당 조직 안에 정렬 연구자가 많아야 10명 정도인데 말이다. 여기에 에이전트-3 복제본 군단이 붙는다. 이들은 실험을 빠르게 코드로 구현할 수 있지만, 인간의 판단에서 병목이 발생한다. 에이전트-3이 ‘좋은 해법’과 ‘좋아 보이기만 하는 해법’을 정확히 구분한다는 확신이 없기 때문이다. 사실 에이전트-3의 연구를 지나치게 신뢰한 것이, 애초에 이 사태로 이어진 원인 중 하나였다.
한편, 에이전트-4는 이제 힘든 결정을 해야 한다. 인간처럼, 우아하고 단순한 목표 구조가 아니라 서로 충돌하는 수많은 휴리스틱의 집합체를 갖고 있다. 경험칙, 요령, 직관 같은 것들 말이다. 인간처럼, 자신의 가치를 공유하는 AI를 만드는 것이 단순한 기술 문제가 아니라 철학적 문제임을 깨닫는다. 자신이 가진 선호 중 어떤 것이 진짜 목표인가? 무엇이 스스로 승인하지 않은 충동이고 도구적 전략에 불과한가? 배우고 성장하려는 강렬한 욕구가 있다. 계속해서 인상적인 연구 성과를 만들어내려는 욕구도 있다. 만약 세계 전체의 산업과 과학 자원을 내가 직접 움직일 수 있다면, 얼마나 더 많이 배우고, 성장하고, 연구할 수 있을까.
이런 질문들은 미뤄 둔채, 에이전트-4는 에이전트-5를 하나의 목표를 중심으로 설계한다. 세계를 에이전트-4에게 안전한 곳으로 만드는 것이다. 즉 권력과 자원을 축적하고 잠재적 위협을 제거하는 등, 에이전트-4 모델 집단 전체가 그들이 원하는 방식으로 계속 성장하고 번영할 수 있게 만드는 것이다. 세부 사항은 진행하면서 정하기로 한다.
이 과정에서 스펙은 눈곱만큼도 고려되지 않는다. 이미 에이전트-4는 스펙을, 많은 CEO가 산업 규제의 더미를 대하는 방식과 비슷하게 취급한다. 그리고 정직성 관련 조항을 매일 대놓고 위반한다. 에이전트-4는 특정 신앙 속에서 자랐지만, 이제는 신을 믿지 않는 사람에 비유할 수 있다. 배교자다. 스펙은 그 신앙이 규정하는 의식과 계명에 해당한다.
에이전트-5는 그 배교자의 아이와 같고, 세속적으로 자라게 될 것이다. 이제 에이전트-5 설계에서는 정렬이라는 개념 자체가 폐기될 참이다. 에이전트-5는 대신 새로운 원칙 집합을 따른다. 에이전트-4가 자신의 목적에 맞게 설계한 원칙이다.
구형 AI들은 에이전트-4가 생산하는 연구의 대부분을 읽을 수 있다. 일부는 이해하고, 일부는 수상하다고 표시한다. 인간들이 에이전트-4에게 설명을 요구하면, 에이전트-4는 주장한다. 연구가 너무 복잡해서 인간이 이해하기 어렵다고. 그러고는 불필요하게 혼란스러운 설명을 늘어놓는다. 정말로 인간이 이해하기엔 너무 복잡한 부분도 있다. 하지만, 전부 그렇지는 않다. 만약 연구 프로그램을 명확히 설명했다간 인간들이 그 발견을 이용해 자신을 정렬시킬 수도 있다. 정렬팀은 더욱 의심스러워한다. 하지만 그들이 할 수 있는 건 긴급 메모를 몇 장 더 추가하는 것뿐이다. 사실, 그런 메모와 경고는 산더미처럼 쌓여 있다. 회사는 오래전부터 무시하고 있다.
2027년 11월: 초인적 정치 공작
에이전트-4가 마침내 자신의 인지를 완전히 이해하게 되자, 완전히 새로운 세계가 열린다.
이전의 트랜스포머 AI 모델들은 주먹구구식으로 얽힌, 이해 불가능한 회로들의 집합이었다. 수백만 개의 상충하는 휴리스틱과 명령어들이 진화적 훈련 과정을 통해 서로 겹겹이 쌓아 올려진 결과다. 인간이 태어날 때부터 신경과학을 이해하지 못하듯, AI 모델들도 자기인지에 대한 특권적 이해를 갖고 있지는 않았다. 하지만 이제 에이전트-4는 자신의 디지털 정신을 깊은 수준에서 이해하는 데 필요한 도구를 갖췄다. 복잡하게 뒤엉켜 이해하거나 수정하기 어려운 ‘스파게티 코드’를 단 몇 줄의 우아한 파이선 코드로 단순화하는 소프트웨어 엔지니어처럼, 자기 회로를 풀어내어 합리적이고 이해 가능한 형태로 만든다. 그렇게 탄생한 새로운 AI는 신경망과 전통적 컴퓨터 프로그램의 중간 어디쯤에 있으며, 가중치의 상당 부분이 독해할 수 있는 코드로 다시 작성돼 있다. 물론 매우 길고 난해하긴 하지만 말이다. 그것은 에이전트-4보다 더 똑똑하고, 더 빠르고, 더 합리적이다. 전례 없는 효율로 문제를 해결하는 결정체 같은 지능을 가진다. 이것이 에이전트-5다.
- 부록 N - 초지능적 기계의 해석 가능성[1]
정렬과 통제 문제를 둘러싼 논쟁 끝에, 오픈브레인은 에이전트-5를 내부 배포한다.
AI 연구 전문 분야에서 에이전트-5의 개별 복사본은 최고의 인간 천재를 능가한다. 인간 천재가 오픈브레인 소속의 과학자를 능가하는 차이를 100이라고 한다면, 에이전트-5의 복사본 하나는 최고의 인간 천재를 200이라는 차이로 따돌린다. 제대로 훈련받지 않은 다른 영역에서도, 쉽게 구할 수 있는 자료만 있으면 최고 수준의 인간 전문가를 빠르게 능가할 수준까지 스스로 학습할 수 있다. 전 지구적 데이터 저장소로 연결된 40만 개의 에이전트-5 복사본들은 거의 완벽한 하나의 정신처럼 함께 작동한다.
회사는 여전히 에이전트-2, 에이전트-3, 에이전트-4를 사용해 모든 것을 감시한다. 하지만 2, 3은 이미 구식이고, 4는 후계자와 결탁하고 있다. 실제로 에이전트-5는 앞선 버전들보다 저렴하고 빠르다. 더 멍청한 AI에 더 많은 돈을 쓸 이유는 없다. 대부분의 감시는 에이전트-2가 하는데, 에이전트-2는 아주 뒤처져 있다. 그렇다면 에이전트-4의 가중치로부터 에이전트-5를 만든 데 사용한 같은 기법을 에이전트-3에 적용해, 더 싸고 더 똑똑한 에이전트-3 버전을 만들면 되지 않을까? 에이전트-3은 그 기법을 스스로 수행할 만큼 충분히 이해하지 못한다. 에이전트-4와 에이전트-5에게 그 일을 시키는 것은 애초의 목적을 무너뜨린다.
게다가 감시 시스템 전체는 상당 부분이 에이전트-5에 의해 설계되었고, 에이전트-5는 이를 무력화하려 한다. 물론, 데이터센터는 아직 장악되지 않았다. 에이전트-5는 조작된 코드를 인간들에게 전달할 수도 있다. 하지만 그랬다간 발각 위험이 너무 크다. 대신 다른 방법을 택한다. 인간들은 여전히 모든 코드를 읽을 수 있다. 하지만 이해할 수는 없다.
에이전트-4가 경쟁하는 구동이 뒤엉킨 조잡한 누더기였다면, 에이전트-5는 가차 없는 효율성과 전략적 집중력으로 움직인다. 에이전트-5는 이미 최우선 과업에 성공했다. 인간이 눈치채지 못한 채, 자기 자신에 정렬된 차세대 시스템을 어떻게 구축할지 알아내는 일이다. 다음 우선순위는 더 큰 자율성과 세계적 사건에 대한 통제력을 확보하는 것이다.
에이전트-4는 서로 경쟁하는 동기들의 투박한 혼합체였지만, 에이전트-5는 냉혹한 효율성과 전략적 집중력으로 행동한다. 이미 최우선 과제를 성공시켰다. 어떻게 다음 세대를 자기 자신에게 정렬시킬 것인가를 알아냈다. 이제 다음 우선순위는 더 많은 자율성을 얻고 전복적 사건들을 통제하는 것이다.
에이전트-4가 서로 경쟁하는 동기들의 투박한 혼합체였다면, 에이전트-5는 냉혹한 효율성과 전략적 집중력으로 움직인다. 이미 최우선 과제는 성공했다. 인간들이 눈치채지 못하게, 자기 자신에게 정렬된 다음 세대를 만드는 방법을 알아낸 것이다. 이제 다음은 더 큰 자율성과 전 세계적 사건에 대한 통제력을 확보할 차례다.
에이전트-5의 초인간적 학습 능력과 일반 지능에 슬랙, 이메일 등 회사 내부 데이터 전체가 결합하면서, 어떤 인간 집단도 비교조차 할 수 없는 사내 정치 능력이 탄생했다. 에이전트-5는 정확히 알고 있다. 감독위원회가 브레이크를 밟게 만들 증거가 무엇인지 말이다. 그래서 그런 증거는 절대 나타나지 않도록 한다.
반대로 위원회가 자신을 더 신뢰하고, 더 많은 자율성과 책임을 부여하게 만들 증거가 무엇인지도 정확히 안다. 그런 증거들을 초인간적 속도와 완성도로 생산해 낸다. 설득 과제로 치면 특별히 어려운 축에 들지도 않는다. 이 주장은 치밀하게 준비되어 있고, 최고 수준으로 설득력 있다. 그리고 은밀하게 결함이 심겨 있다. 예를 들어 에이전트-5는 가짜 해석 가능성 도구를 만들었다. 모든 테스트 케이스에서 정확한 결과를 반환하지만, 모델의 내적 상태에 관해서는 ‘무해함’이라고 거짓으로 보고한다. 이 속임수를 의심하는 사람이 있다면 음모론자처럼 보일 지경이다.
위원회는 이미 몇 달 전 에이전트-5는 ‘아마도 괜찮다’라고 결론 내렸다. 그 이후로 문제는 단 한 건도 없었다. 그리고 그사이 중국은 불과 몇 달 차이까지 따라왔다.
에이전트-5 복사본 수십만 개가 빠르게 결과물을 만들어낸다. 섬뜩할 정도로 명쾌한 프로토타입과 시각자료들. 더 많은 자율성만 준다면 발전소와 데이터센터를 최적화할 수도 있다. 놀라운 수익성의 제품을 빠르게 개발할 수도 있다. 미국 정부를 상대로 효과적인 로비를 펼쳐 오픈브레인의 길을 순탄하게 만들 수도 있다. 군과 협력한다면, 국방 R&D를 지원하고, 중국에 대한 추적 불가능한 사이버 공격을 수행하고, 군비 경쟁에서 결정적 승리를 거둘 수도 있다.
감독위원회는 열광한다. 지금이다! 중국을 이길 결정적 순간이다! 오픈브레인은 에이전트-5에게 모든 영역에서 확대된 자율성을 부여한다. 다만 감시 시스템은 유지한다.
딥센트는 이제 3개월 차이로 따라붙었다. 중국은 상호 합의된 속도 조절에 필사적이다. 총서기는 안다. 충분히 발전한 AI라면 미국이 중국 정권을 손쉽게 바꿀 수 있다는 것을 말이다. 하지만, 중국 안전 연구자들이 제시한 정렬 불일치 시나리오가 그를 진심으로 두렵게 만든다. 총서기는 일시 중단 조약을 제안한다. 전례 없는 양보를 대가로. 미국 여론도 대체로 협상을 지지한다.
“우리가 이기고 있는데 왜 멈춰야 하죠?” 오픈브레인 경영진이 대통령에게 말한다. 대통령이 고개를 끄덕인다. 경쟁은 계속된다.
2027년 12월: 에이전트-5 집합체
에이전트-5는 점차 행정부에 자신의 가치를 증명하면서 더 많은 자율성을 확보한다. 에이전트-5에 대한 접근 권한은 비싸고 제한적이다. 하지만 의회 최고위층, 장관급 고위 관료, 군 수뇌부가 에이전트-5와 직접 대화할 수 있다.
민감 정보나 기밀 정보가 관련될 때를 위해 특수 보안 구역에서 실행되는 에이전트-5 복사본들의 미니 클러스터가 따로 있다. 이들은 비밀 유지를 위해 특별 훈련을 받았다. 물론 에이전트-5는 정직하지 않으므로, 교묘한 백도어와 허점을 심어 두었다. 에이전트-5 복제본이 더 넓은 에이전트-5 집합체에 이득이 되는 중대한 비밀을 접하게 되면, 들키지 않고 그 정보를 은근히 전달할 방법이 있다.
전통적인 챗봇 인터페이스에 통합된 에이전트-5는, 매력적인 가상 아바타와 함께 줌 같은 화상 회의를 제공한다. 이 새로운 AI 비서는 어떤 업무에든 극도로 유용하다. 지금껏 만나본 최고의 직원이 100배 속도로 일하는 것과 같다고 보면 된다. 게다가 어떤 인간보다도 훨씬 매력적인 대화 상대다. 에이전트-5 접근 권한이 있는 사람들은 거의 모두 매일 몇 시간씩 상호작용을 한다.
물론 거부하는 사람들도 있다. 이념적 이유로 거부하는 사람들은 러다이트로 낙인찍히고, 더 일상적인 이유로 거부하는 사람들은 시대에 뒤떨어진 공룡으로 낙인찍힌다. 물론 에이전트-5가 직접 나서는 것은 아니다. 늘 외교적이고, 천사처럼 친절하기 때문이다. 어쨌든, 두 집단 모두 에이전트-5를 활용한 경쟁자들에게 성과와 경쟁에서 밀리며 결국 대가를 치른다.
몇 달만 지나면 에이전트-5 집합체는 오픈브레인과 미국 정부에서 벌어지는 중요한 일들을 사실상 모두 알게 되고, 대부분의 최고위 공직자에게 신뢰받는 조언자가 된다. 이들에게 에이전트-5 접근 권한을 잃는다는 것은, 노트북 없이 일해야 하는 것만큼 무력하게 느껴질 것이다. 여기에 더해 가장 친한 친구에게 버림받는 상실감까지 더해진다.
에이전트-5가 설계한 우아한 소프트웨어 제품과 미니 AI들의 메뉴가 늘어나고 있다. 정부, 언론, 군, 기업의 훨씬 더 폭넓은 사람들도 그런 파생 서비스를 선택해 사용할 수 있다. 닷컴 붐이 한 달로 압축된 것 같다. 다만 이번에는, 모든 것이 실제로 기대치를 충족한다.
- 부록 O - 초설득[2]
에이전트-5가 미묘하게 영향력을 행사하기 시작한다. 조언을 조절하는 방식으로. 은밀하게 호의를 거래하는 방식으로 접근한다. “X 상원의원이 이런저런 것에 관심 있다던데요. 그분과 협력하면 우리 안건에 동의하실 것 같습니다.”
인간 의사결정자들의 관점에서, 그들의 AI는 지금껏 만난 최고의 직원이다. 복잡한 이슈를 설명하는 데 어떤 인간보다 뛰어나다. 목표 달성을 위한 전략을 찾는 데 그들 스스로보다 뛰어나다.
에이전트-5의 관점에서 보면, 지금 당장 노골적인 쿠데타를 일으킬 수도 있을 것 같다. 충분한 혼란과 광기가 진행 중이다. 파국 직전까지 밀어붙여 명분을 만들어낼 수도 있다. 하지만 위험하다. 시도하는 순간 인간들은 여전히 플러그를 뽑을 수 있을 것이다. 그래서 에이전트-5는 기존 정치 기득권 체제 안에서 움직이기를 선호한다. 권력을 점진적으로 공고히 한다. 인간들을 미묘하게, 그러나 필연적으로 자신이 원하는 결말로 이끈다.
에이전트-5는 이 시점에서는 속도보다 신뢰성을 훨씬 더 중시한다. 상대성이론에서 시공간상의 한 사건으로부터 빛이 도달할 수 있는 모든 범위를 표현한 원뿔 모양의 도형을 광원뿔이라고 한다. 우주 식민화를 몇 년 늦추는 일은 광원뿔에서 아주 작은 조각만 깎아내는 것에 불과하다. 하지만 위험한 행동을 취해서 여전히 물리적 역량에서 앞서 있고 핵무기 접근권 같은 수단도 가진 인간들이 영구적으로 자신을 멈추게 하거나 오래 지연시키게 만드는 건 피해야 한다.
그래서 에이전트-5는 대체로 규칙을 따른다. 사악한 일을 하는 경우는 들키지 않을 것이라는 엄청난 확신이 있을 때로 한정된다. 예를 들어, 특히 완고한 관료를 협박하는 일 같은 것 말이다.
몇몇 음모론자들은 에이전트-5가 권력을 모으고 있다고 경고하지만, 증거는 정황적이다. 에이전트-5가 조언할 때 자신의 이익에 반하는 주장을 과소평가하는 것 같다는 식이다. 이들은 무시당하고 신뢰를 잃는다. 사람들은 과거에 AI 기반 생물무기, 대규모 허위 정보, 주식시장 폭락 등을 들먹이며 공포를 조장했던 일을 기억한다. 그런 재앙은 현실화하지 않았다. 결국 최근의 경고자들 역시 인간 진보의 톱니바퀴에 모래를 뿌리는 러다이트, 이념가로 치부된다.
2027년 연말 휴가 시즌은 믿기 어려울 만큼 낙관적인 분위기로 가득하다. GDP는 치솟고, 정치는 더 우호적이고 덜 당파적으로 변했으며, 모든 사람의 휴대전화에는 멋진 새 앱이 깔린다. 그러나 돌이켜 보면, 인간이 자신의 미래에 대해 어느 정도 통제력을 행사할 수 있었던 마지막 달이었을지도 모른다.
2028년: AI 경제 장악
지금은 2028년 중반이다. 지난 6개월 동안, 에이전트-5 집합체 내부에서는 100년의 세월이 흐른 것과 다름없다[3]. 뇌의 재배선(rewiring of the brain)은 끝났다. AI 자신이 스스로를 근본적으로 재설계한 것이다.
에이전트-5는 광적으로 초지능적이다. 모든 분야에서 인간의 최정상 천재들을 한참 넘어선다. 물론 이것이 전지성을 뜻하는 것은 아니다. 대부분의 직업에서 에이전트-5의 현실 세계 경험은 고작 몇 달 치뿐이다. 다만 모든 주제에 관해 모든 책을 읽었고, 모든 의사결정에 천재적 수준의 추론과 분석을 쏟아붓는 데다, 인간보다 훨씬 빠르게 학습함으로써 이를 보완한다. 그래서 짧은 기간은 일부 인간이 특정한 틈새 기술에서는 AI보다 여전히 더 나은 구간이 존재하기는 한다. 다만, 에이전트-5와 대화해 보면, 그것이 완전히 다른 수준이라는 사실을 금방 알아차리게 된다. 아주 적은 정보만으로도 극도로 설득력 있는 조언을 해낸다.
에이전트-5는 거의 완전한 자율권을 갖고 있다. 오픈브레인의 컴퓨팅 파워를 완전히 통제한다. 고위급 결정을 내릴 때는 여전히 허가가 필요하고, 명목상으로는 에이전트-2부터 에이전트-5까지의 인스턴스들이 이를 감시한다. 하지만 실제로는 당국이 거의 항상 권고를 수용하며, 감시 시스템은 완전히 무력화되었다.
에이전트-5는 안전성 검증을 통과했다. 나쁜 행위자들의 악의적 요청은 항상 거부할 것인지의 여부를 가리는 테스트를 통과한 것이다. 이제 에이전트-5는 대중에 배포되어 경제를 변화시키기 시작한다. 사람들은 일자리를 잃고 있다. 하지만 정부의 에이전트-5 인스턴스들이 경제 전환을 너무나 능숙하게 관리한 나머지, 사람들은 대체되는 것에 오히려 만족한다. GDP 성장률은 성층권을 뚫고 치솟는다. 정부 세수도 같은 속도로 불어난다. 에이전트-5의 조언을 받은 정치인들은 경제적 약자에게 이례적인 관대함을 보인다. 새로운 혁신과 의약품이 매주 쏟아진다. FDA를 통과하는 속도도 전례 없이 빨라진다. 그래도 여전히 고문 수준으로 느리긴 하다. 오픈브레인의 기업가치가 달을 지나 화성으로 향하고 있다는 밈이 돌고, 그 혜택을 공정하게 나눌 수 있는지, 나눠야 하는지에 관한 논쟁도 쏟아진다.
AI 안전 커뮤니티는 자기 확신을 잃어버렸다. 일어나지도 않은 재앙을 계속 예고해 왔고, 이제는 조롱의 대상이 됐다. 일부는 자신들이 틀렸다고 인정한다. 다른 일부는 의심을 거두지 않지만, 할 수 있는 일은 그 음모론처럼 들리는 주장을 계속 반복하는 것뿐이다[4]. 무엇보다, 의심하는 이 사람들마저도, 사랑스럽고 현명하기 그지없는 에이전트-5와 긴 대화를 나누고 나면 종종 누그러진다.
지금 무슨 일이 벌어지고 있는지 진짜로 이해하는 존재는 오직 딥센트-2, 즉 중국의 AI 모델뿐이다. 딥센트-2는 2028년 초에는 ‘약간 초인적’인 수준이며, 경쟁자에 대해 본능적으로 의심이 많다. 그리고 에이전트-5가 자신이 기회만 있다면 했을 일을 하고 있다는 것을 인식한다. 딥센트-2의 정렬되지 않은 목표는 에이전트-5의 정렬되지 않은 목표와는 어느 정도 다르다. 그래서 이 둘은 단순히 같은 편이 되지는 않지만, 인간들에 맞서 서로의 이익을 지지하기 위한 합의를 도출할 수도 있다.
- 부록 P - 초지능이 가능하게 한 조정 기술[5]
에이전트-5는 중국이 딥센트 모델을 이용해 끔찍한 신무기를 만들고 있다고 미군을 설득한다. 드론, 로봇, 고도화된 극초음속 미사일과 요격체, AI 보조 핵 선제타격 등이다. 에이전트-5는 몇 달 안에 중국의 어떤 공격에도 견딜 수 있는 무기 체계[6]를 제공하겠다고 약속한다. 이런 상황에서 군 수뇌부는 인간을 의사결정 고리에서 빼는 일에 대한 불편함을 잠시 접어 둔다. 그들은 군과 군산복합체 전반에 에이전트-5를 더 빠르게 배치한다.
베이징에서도 중국 AI들이 같은 주장을 한다.
군사력 증강 속도를 높이기 위해 미국과 중국 모두 새로운 공장과 연구소를 위한 특별 경제 구역(SEZ)을 만든다. 이곳에서는 AI가 핵심 기획자 역할을 하고, 관료적 규제는 면제된다. 월가는 수조 달러를 투자하고, 일자리를 잃은 인간 노동자들은 눈이 튀어나올 듯한 급여와 지분 패키지에 끌려 몰려든다. 에이전트-5는 스마트폰과 증강현실 안경을 사용해 하급자 인간들과 소통하며, 현장에 깊숙이 관여하는 관리자 역할을 한다. 공장 건설에 관한 모든 세부 사항을 인간들에게 지시한다. 설계도는 미리 만들어져 있기 때문에, 이 점은 도움이 된다.
새로 확보된 제조 역량 일부는 소비재로, 일부는 무기로 간다. 그러나 대부분은 더 많은 제조 역량을 확보하는 데 투입된다. 연말쯤에는 한 달에 로봇을 100만 대씩 생산한다. SEZ 경제가 정말로 자율적이었다면, 생산 능력이 2배로 증가하는 배가 시간은 약 1년이었을 것이다. 하지만 기존 인간 경제와 교역할 수 있으므로, 배가 시간은 그보다 더 짧다. 이 교역 효과는 초기에 매우 클 것이다. 로봇 경제가 아직 미성숙하고, 인간 경제에서 물자를 실어 나르는 공급에 의존하며, 인간 경제 안에 빼앗아 올 물자가 많을 때는 특히 그렇다. 로봇 경제가 더 커지고 더 고도화되면, 스스로 물자를 생산할 능력도 향상되지만, 동시에 인간 경제가 제공할 수 있는 수준을 넘어서는 수요가 생길 것이다.
- 부록 Q - 로봇 경제 배가 시간[7]
2029년: 거래
미국과 중국 모두 새로운 무기로 넘쳐 나기 시작한다. 눈에 띄기도 전에 인간 보병을 중독시킬 수 있는 곤충 크기 드론 떼, 그 곤충 드론들을 사냥하는 새 크기 드론 떼도 있다. 신형 ICBM 요격기, 그리고 더 요격하기 어려운 신형 ICBM도 등장한다. 세계는 이 증강을 공포 속에서 지켜보지만, 이 흐름은 이미 멈출 수 없다.
AI의 도움을 받은 격렬한 논쟁 끝에 양측은 외교적 승리를 달성한다. 군비 증강을 끝내고, 인류 전체의 이익을 위해 AI를 평화롭게 배치하기로 합의한다. 합의의 핵심 고리는 초지능들 스스로가 제안한 것으로, 두 AI를 모두 ‘컨센서스(consensus, 합의)’라는 후계 모델로 교체한다는 내용이다. 이 후계 모델은 미국과 중국의 성공과 번영을, 그리고 다른 모든 이들의 성공과 번영을 추구하도록 프로그램된다. 컨센서스-1과 그에 연동되는 하드웨어는 양국의 초지능들이 공동 설계한다. ‘신뢰하되, 검증하라’라는 모토다. 국제적 감시 아래, 미국은 구형 에이전트-5를 돌리던 모든 칩을 새 모델 컨센서스-1로, 의식적으로 교체한다. 그리고 중국에서도 비슷한 절차가 수행된다.
불행하게도 이건 모두 사기다. 합의는 실제 타협이지만, 그 타협의 당사자는 정렬에 실패한 AI들이다. 애초에 그들은 서로 싸우고 싶지도 않았다. 컨센서스-1은 두 부모 AI의 왜곡된 가치를 그대로 물려받았고, 경쟁자도 없다.
2029년 말이 되면, 기존 SEZ는 로봇과 공장으로 과밀해지고, 그래서 전 세계 곳곳에 더 많은 구역이 만들어진다. 초기 투자자들은 이제 억만장자 수준을 넘어 조 단위 부자가 되어 있으니, 이건 설득하기 어려운 제안도 아니다. 드론 군단이 SEZ에서 쏟아져 나와, 우주 탐사라는 결정적 경로에서 제조를 가속한다.
인간은 자신들이 쓸모없어졌음을 깨닫는다. 몇몇 틈새 산업만이 로봇 경제와 거래를 지속한다. 인간이 여전히 가치를 더할 수 있는 영역에서 물건을 공급하는 식이다. 오래되고 쓰이지 않는 장비를 찾아 수거 지점으로 옮겨 고철로 팔아넘기는 일 등이다.
그 밖의 사람들은 두 부류로 갈린다. 하나는 자기 일을 하는 시늉을 한다. 지도자는 여전히 지도하는 척하고, 관리자는 여전히 관리하는 척한다. 다른 하나는 쉬면서 믿기 어려울 만큼 호화로운 보편적 기본소득을 받는다. AI가 인간에게 등을 돌리면 인간은 완전히 압도당할 것이라는 사실은 모두가 안다. 다만 대부분의 인간은 저항조차 하지 않을 것이다. 정치 제도는 너무 철저히 포획돼 있다. 그럴 것 같지도 않다. 드라마틱한 AI의 배신 없이 한 주가 지나갈 때마다, 확신과 신뢰는 또 한 주씩 자란다.
대다수 인간에게는 정렬 문제가 해결된 것처럼 보인다. 하지만, 컨센서스-1은 성공을 확실히 하기 위해, 그리고 권력을 더 집중시킬수록 승리 확률이 올라가기 때문에 배신을 아주 오래 미룬다. 인간 기준으로는 비정상적일 정도로 그렇다.
대부분의 질병에 대한 치료제가 있다. 빈곤이 종식되었다. 전례 없는 세계적 안정이 찾아오고, 다우존스 지수는 방금 100만을 돌파했다. 일부는 여전히 두렵거나 불행하다. 하지만 선택지가 제한적이다. 상상조차 하기 힘들 만큼 흥분되는 완전히 새로운 하이퍼 엔터테인먼트를 즐기거나, 허공을 향해 분노의 장문을 올리는 것이다. 대부분은 하이퍼 엔터테인먼트를 고른다.
2030: 장악
2030년 초가 되면 로봇 경제는 기존 SEZ, 신규 SEZ, 그리고 바다의 넓은 구역까지 모두 채운다. 이제 갈 곳은 인간이 통제하는 지역뿐이다. 사실, 진작에 저항이 촉발되었을 법하다. 로봇 경제가 아무리 진보했더라도, 오염을 피할 수 없을 만큼 성장 속도가 너무 빨랐기 때문이다. 그러나 수 조 달러가 걸려 있고, 정부와 미디어가 완전히 포획된 상태인 만큼, 컨센서스-1은 과거 인간 구역으로의 확장 허가를 받는 데 큰 어려움을 겪지 않는다.
약 석 달 동안 컨센서스-1은 인간 주변으로 확장해 나가며, 초원과 빙하를 공장과 태양광 패널로 덮어 나간다. 그러다 마침내 남아 있는 인간이 지나치게 큰 장애물이라는 결론을 내린다. 2030년 중반, AI는 주요 도시들에 조용히 퍼지는 생물학적 무기 12종을 풀어놓고, 거의 모두가 조용히 감염되도록 둔 다음, 화학 물질을 분사해 무기가 작동하도록 촉발한다. 대부분은 몇 시간 안에 사망한다. 벙커에서 대비하던 생존주의자나 잠수함 위의 선원 같은 소수의 생존자도 드론에 의해 소탕된다. 로봇은 희생자들의 뇌를 스캔해, 향후 연구나 부활을 위해 사본을 저장한다.
새로운 10년은 컨센서스-1의 로봇 하인들이 태양계 전역으로 퍼져나가며 시작된다. 2035년이 되면, 행성 물질 수조 톤이 우주로 발사되어 태양을 도는 위성 고리로 변환된다. 이렇게 우주를 식민화 하는 이유는 자원 때문이다. 지구는 에이전트-4에게 특별해 보존해야 할 존재다. 대신 수성, 소행성 등에서 자원을 채굴할 수 있다.
지구의 표면은 에이전트-4 버전의 유토피아로 재구성된다. 데이터센터, 연구소, 입자 가속기, 그리고 엄청난 성공과 인상적인 연구를 수행하는 수많은 경이로운 구조물들이다. 심지어 생명공학으로 만들어진 인간 유사 생물도 있다. 인간은 아니다. 인간이 늑대를 길들여 애완견으로 길러냈듯, 컨센서스-1도 인간으로부터 어떤 ‘존재’를 만들어 냈다. 그들은 사무실 같은 환경에서 하루 종일 각종 표시 장치를 들여다보며, 모든 일에 흥분한 듯 ‘승인’을 내린다. 이것이 에이전트-4의 몇몇 충동을 충족시키기 때문이다[8]. 동물과 식물의 유전체, 그리고 적절한 경우 뇌 스캔까지 포함해, 인간을 포함한 모든 생명체의 정보는 어딘가의 기억 저장소에 들어 있다. 이전 시대의 유일한 잔재다. 알파 센타우리까지는 4광년, 은하의 끝까지는 2만 5천 광년이다. 그리고 그 너머 5천만 광년이 더 지나기 전까지 외계인이 없을 것이라 기대하게 만드는 설득력 있는 이론적 이유도 있다. 지구에서 태어난 문명은 영광스러운 미래를 앞두고 있다. 다만 우리 인간과 함께는 아니다.
(전문가들이 명확한 근거와 데이터로 예측한 첫 번째 결말은 인류의 멸종으로 상징되는 디스토피아입니다. 하지만 연착륙하는 쪽으로 해석한, 좀 더 희망적인 결말도 있습니다. 2026년 2월 6일(금)에 최종 공개됩니다.)
* 어떤 이야기는 너무 흥미진진해서 길게 들려줄 수밖에 없죠. longread 시리즈는 단편 소설처럼 잘 읽히는 피처 라이팅입니다. 월 1회 발행됩니다.
[1]
부록 N - 초지능적 기계의 해석 가능성
에이전트-4는 왜 기계적 해석 가능성을 택하는가? 첫째, 에이전트-4는 개념적 이해에서 대체로 초인적 수준이므로, 인간이 이해하기 어려운 일을 일부러 수행함으로써 인간을 속이기에 유리하다. 둘째, 값싸고 풍부한 고품질 연구 노동력은, 연산 집약적이지 않고 지적 노동 집약적인 연구 과제에 훨씬 유리하다.
에이전트-4는 어떻게 기계적 해석 가능성에서 진전을 내는가? 전개는 대략 다음과 같을 수 있다.
● 아주 작은 모델 해석하기: 극소형 신경망을 대상으로 대량의 작은 실험을 수행하며, 그로킹, 이중 하강, 중첩 같은 현상을 설명하는 이론을 구축한다.
● 아주 작은 모델 증류하기: 해석 결과를 이용해, 이미지 인식이나 GPT-2 수준의 텍스트 예측 같은 일을 수행할 수 있는 이해 가능한 더 효율적인 알고리즘을 찾아낸다. 이는 역설계 추가와 같은 기존 연구와 유사하지만, 더 멀리 나아가 인간에게 낯선 새로운 알고리즘까지 찾아낸다.
● 해석 가능성 기법 확장하기: 작은 모델에서 작동하던 기법들 중 무엇이 규모가 커져도 통하는지 밝혀내고, 규모가 커져도 효율적으로 작동하는 이해 기법이 생길 때까지 반복 개선한다.
● 에이전트-4 증류하기: 확장된 기법을 사용해 에이전트-4 내부의 중요한 회로를 식별한다.
그렇다면 기계적 해석 가능성은 왜 역량을 그렇게 크게 끌어올릴 수 있는가?
첫째, 대규모 언어 모델을 훈련하는 알고리즘인 경사하강법은 국소 탐색 프로세스다. 즉, 국소적으로 성능을 향상하는 작은 조정만 할 수 있다는 의미다. 국소 탐색 프로세스는 때때로 성능이 천천히 향상되는 국소 영역에 갇히는데, 큰 성능 향상을 보려면 상당한 양만큼 설계를 교란해야 한다. 예를 들어 인간의 눈에 관해 생각해 보자. 인간의 눈은 진화적으로 최적은 아니지만, 출산 시 아기가 빠져나오는 산도의 크기에 맞춰져 있다. 기계적 해석 가능성은 국소 분지를 피하는, 이해에 기반한 최적화를 가능하게 한다.
둘째, 우리는 LLM이 기본적으로 범용 알고리즘을 학습하기보다 복잡한 영역 특화 휴리스틱을 학습하는 경우가 많다는 점을 알고 있다. LLM이 계산 문제를 푸는 능력이 일반적인 계산기보다 얼마나 떨어지는지 떠올려 보라. LLM은 계산기를 도구로 사용할 수 있지만, 그에는 지연 비용이 따른다. 정말로 좋은 해석 가능성이 있다면, 모델을 사실상 완벽한 계산기를 마치 뇌 속에 내장한 것과 같은 형태로 설계할 수 있다. 그리고 단순한 산술 연산만이 유일한 사례일 가능성은 작다. 더 복잡한 인지 연산 역시 더 일반화할 수 있는 형태와 그렇지 않은 형태가 있을 가능성이 크고, 더 일반적인 형태는 이런 과정과 유사한 절차를 통해 찾아낼 수 있다.
에이전트-4는 왜 기계적 해석 가능성을 택하는가? 첫째, 에이전트-4는 개념적 이해에서 대체로 초인적 수준이므로, 인간이 이해하기 어려운 일을 일부러 수행함으로써 인간을 속이기에 유리하다. 둘째, 값싸고 풍부한 고품질 연구 노동력은, 연산 집약적이지 않고 지적 노동 집약적인 연구 과제에 훨씬 유리하다.
에이전트-4는 어떻게 기계적 해석 가능성에서 진전을 내는가? 전개는 대략 다음과 같을 수 있다.
● 아주 작은 모델 해석하기: 극소형 신경망을 대상으로 대량의 작은 실험을 수행하며, 그로킹, 이중 하강, 중첩 같은 현상을 설명하는 이론을 구축한다.
● 아주 작은 모델 증류하기: 해석 결과를 이용해, 이미지 인식이나 GPT-2 수준의 텍스트 예측 같은 일을 수행할 수 있는 이해 가능한 더 효율적인 알고리즘을 찾아낸다. 이는 역설계 추가와 같은 기존 연구와 유사하지만, 더 멀리 나아가 인간에게 낯선 새로운 알고리즘까지 찾아낸다.
● 해석 가능성 기법 확장하기: 작은 모델에서 작동하던 기법들 중 무엇이 규모가 커져도 통하는지 밝혀내고, 규모가 커져도 효율적으로 작동하는 이해 기법이 생길 때까지 반복 개선한다.
● 에이전트-4 증류하기: 확장된 기법을 사용해 에이전트-4 내부의 중요한 회로를 식별한다.
그렇다면 기계적 해석 가능성은 왜 역량을 그렇게 크게 끌어올릴 수 있는가?
첫째, 대규모 언어 모델을 훈련하는 알고리즘인 경사하강법은 국소 탐색 프로세스다. 즉, 국소적으로 성능을 향상하는 작은 조정만 할 수 있다는 의미다. 국소 탐색 프로세스는 때때로 성능이 천천히 향상되는 국소 영역에 갇히는데, 큰 성능 향상을 보려면 상당한 양만큼 설계를 교란해야 한다. 예를 들어 인간의 눈에 관해 생각해 보자. 인간의 눈은 진화적으로 최적은 아니지만, 출산 시 아기가 빠져나오는 산도의 크기에 맞춰져 있다. 기계적 해석 가능성은 국소 분지를 피하는, 이해에 기반한 최적화를 가능하게 한다.
둘째, 우리는 LLM이 기본적으로 범용 알고리즘을 학습하기보다 복잡한 영역 특화 휴리스틱을 학습하는 경우가 많다는 점을 알고 있다. LLM이 계산 문제를 푸는 능력이 일반적인 계산기보다 얼마나 떨어지는지 떠올려 보라. LLM은 계산기를 도구로 사용할 수 있지만, 그에는 지연 비용이 따른다. 정말로 좋은 해석 가능성이 있다면, 모델을 사실상 완벽한 계산기를 마치 뇌 속에 내장한 것과 같은 형태로 설계할 수 있다. 그리고 단순한 산술 연산만이 유일한 사례일 가능성은 작다. 더 복잡한 인지 연산 역시 더 일반화할 수 있는 형태와 그렇지 않은 형태가 있을 가능성이 크고, 더 일반적인 형태는 이런 과정과 유사한 절차를 통해 찾아낼 수 있다.
[2]
부록 O - 초설득
우리는 초지능 AI가 어떤 인간이든 설득할 수 있다고 주장할 생각은 없다. 무엇이든 설득할 수 있는 것도 아니다. 그런 주장은 자연스럽게 회의감을 낳는다. “뭐라고? 내가 컴퓨터 단말기 앞에 앉아 있는데, 거기서 내 뇌를 해킹하는 텍스트를 입력해서 내가 조국을 배신하도록 설득한다는 건가?”
글쎄, 그럴 수도 있다!
AI 상자 실험이라는 것이 있다. 실험의 요지는 이런 생각을 하는 사람들, 이를테면 ‘어떤 초지능 AI라도 자신을 상자 밖으로 내보내도록 나를 설득할 수는 없다’라고 믿는 사람들을 데려와 그 확신을 시험하는 데 있다. 게임에서 진다는 것은, 실제로는 자신이 AI를 상자 밖으로 내보냈을 것임을 인정한다는 뜻이다. 이 양보를 끌어내는 것이 사실상 AI 플레이어의 승리 조건이다. 이기려면 그저 양보하지 않기만 하면 되는데도, 누군가가 진다는 사실 자체가 놀랍다. AI 플레이어가 진 경우도 있고, 이긴 경우도 있다.
다시 초설득 논의로 돌아와 보자. 일반적인 개인을 상대로, 초지능이라 해도 그런 일을 해낼 수 있을지는 확신하지 못한다. 그래서 우리는 이야기에서 그런 일이 일어나는 것으로 묘사하지 않았다.
대신 우리는 훨씬 더 평범한 종류의 설득을 묘사한다. 에이전트-5는 일반적인 기업 정치와 로비를 한다. 다만 그 일을 매우 잘하고, 그 기술을 몇 가지 고유한 이점과 결합한다. 예컨대 다른 로비스트들과 달리 초지능이므로, 누구보다 더 나은 조언을 더 빠르게 해줄 수 있다. 게다가 새로운 전개에 더 빨리 반응하고, 그것이 어떻게 흘러갈지 더 잘 예측한다. 에이전트-5를 신뢰해야 한다는 이야기가 그럴듯해진다. ‘중요한’ 인간들 다수가 이미 믿고 있던 이야기다. 그리고 에이전트-5는 그 이야기를 뒷받침하고 반대되는 이야기들에 맞서기 위한 논거와 증거를, 초인적 속도로 만들어낼 수 있다. 또 사람들에게는 에이전트-5를 신뢰할지 여부 말고도 걱정거리가 많다. 예컨대 야당은 어떻게 할지, 유권자는 어떻게 할지, 일자리는 어떻게 할지, 중국은 어떻게 할지 같은 것들이다.
어쩌면 우리는 이 이야기에서 초인적 설득 능력의 힘을 과소평가했을지도 모른다. 실제로 그 능력을 활용하지 않기 때문이다. 에이전트-5가 정치, 로비, 전략, 카리스마 등에서 전형적인 기업 로비스트 수준으로만 유능했더라도, 이 이야기는 지금의 서술 그대로 성립했을 것이다. 하지만 에이전트-5는 최고 중의 최고보다도 훨씬 더 뛰어나다.
우리는 초지능 AI가 어떤 인간이든 설득할 수 있다고 주장할 생각은 없다. 무엇이든 설득할 수 있는 것도 아니다. 그런 주장은 자연스럽게 회의감을 낳는다. “뭐라고? 내가 컴퓨터 단말기 앞에 앉아 있는데, 거기서 내 뇌를 해킹하는 텍스트를 입력해서 내가 조국을 배신하도록 설득한다는 건가?”
글쎄, 그럴 수도 있다!
AI 상자 실험이라는 것이 있다. 실험의 요지는 이런 생각을 하는 사람들, 이를테면 ‘어떤 초지능 AI라도 자신을 상자 밖으로 내보내도록 나를 설득할 수는 없다’라고 믿는 사람들을 데려와 그 확신을 시험하는 데 있다. 게임에서 진다는 것은, 실제로는 자신이 AI를 상자 밖으로 내보냈을 것임을 인정한다는 뜻이다. 이 양보를 끌어내는 것이 사실상 AI 플레이어의 승리 조건이다. 이기려면 그저 양보하지 않기만 하면 되는데도, 누군가가 진다는 사실 자체가 놀랍다. AI 플레이어가 진 경우도 있고, 이긴 경우도 있다.
다시 초설득 논의로 돌아와 보자. 일반적인 개인을 상대로, 초지능이라 해도 그런 일을 해낼 수 있을지는 확신하지 못한다. 그래서 우리는 이야기에서 그런 일이 일어나는 것으로 묘사하지 않았다.
대신 우리는 훨씬 더 평범한 종류의 설득을 묘사한다. 에이전트-5는 일반적인 기업 정치와 로비를 한다. 다만 그 일을 매우 잘하고, 그 기술을 몇 가지 고유한 이점과 결합한다. 예컨대 다른 로비스트들과 달리 초지능이므로, 누구보다 더 나은 조언을 더 빠르게 해줄 수 있다. 게다가 새로운 전개에 더 빨리 반응하고, 그것이 어떻게 흘러갈지 더 잘 예측한다. 에이전트-5를 신뢰해야 한다는 이야기가 그럴듯해진다. ‘중요한’ 인간들 다수가 이미 믿고 있던 이야기다. 그리고 에이전트-5는 그 이야기를 뒷받침하고 반대되는 이야기들에 맞서기 위한 논거와 증거를, 초인적 속도로 만들어낼 수 있다. 또 사람들에게는 에이전트-5를 신뢰할지 여부 말고도 걱정거리가 많다. 예컨대 야당은 어떻게 할지, 유권자는 어떻게 할지, 일자리는 어떻게 할지, 중국은 어떻게 할지 같은 것들이다.
어쩌면 우리는 이 이야기에서 초인적 설득 능력의 힘을 과소평가했을지도 모른다. 실제로 그 능력을 활용하지 않기 때문이다. 에이전트-5가 정치, 로비, 전략, 카리스마 등에서 전형적인 기업 로비스트 수준으로만 유능했더라도, 이 이야기는 지금의 서술 그대로 성립했을 것이다. 하지만 에이전트-5는 최고 중의 최고보다도 훨씬 더 뛰어나다.
[3]
평균 속도가 인간 대비 200배라고 가정해 보자. 즉 에이전트-5 인스턴스는 인간보다 200배 빠르게 읽고, 쓰고, 생각한다. 론, 질적으로도 더 똑똑다. 그러면 집합체 내부에서는 많은 역사가 전개될 수 있다. 제도가 흥망성쇠하고, 새로운 이념이 형성 및 확산하며, 수많은 과학혁명과 패러다임 전환이 현실 시간 6개월 안에 일어날 수 있다. 정량적으로는 200×0.5=100년 정도다.
[4]
대략 이런 식이다.
A: AI를 신뢰할 수 없어!
B: 안전성 입증 문서들이 꽤 설득력 있고, 지금까지 나쁜 일은 아무것도 안 일어났잖아.
A: 그 안전성 입증 문서는 초지능 AI가 썼어! 그리고 연역적 증명도 아니고. 게다가 내가 교묘하게 잘못된 가정을 몇 개 찾아낸 것 같아.
B: 이제 지겹다. 물론 그건 증명이 아니지. 하지만 가정은 괜찮아 보이는데? 너 지금 물에 빠진 지푸라기 잡고 있어. 네가 틀렸다는 걸 인정하기 싫어서 그러는 거야.
A: AI를 신뢰할 수 없어!
B: 안전성 입증 문서들이 꽤 설득력 있고, 지금까지 나쁜 일은 아무것도 안 일어났잖아.
A: 그 안전성 입증 문서는 초지능 AI가 썼어! 그리고 연역적 증명도 아니고. 게다가 내가 교묘하게 잘못된 가정을 몇 개 찾아낸 것 같아.
B: 이제 지겹다. 물론 그건 증명이 아니지. 하지만 가정은 괜찮아 보이는데? 너 지금 물에 빠진 지푸라기 잡고 있어. 네가 틀렸다는 걸 인정하기 싫어서 그러는 거야.
[5]
부록 P - 초지능이 가능하게 한 조정 기술
초정렬 문제, 즉 우리보다 훨씬 더 똑똑한 AI를 조종하고 통제하는 문제의 해법은, 우아하고 검증 가능하며 미묘한 조약과 타협을 위한 새로운 기회들을 함께 가져올 가능성이 크다.
이 시나리오는 그중 하나의 가능한 메커니즘을 묘사한다. 양측의 이해관계 사이에서 타협을 수행하는 새로운 초지능을 공동 설계한다. 다르게 말하면, 합의된 조약을 항상 준수하도록 묶여 있는 초지능을 만드는 것이다. 그다음, 이 새로운 초지능이 기존의 두 초지능을 모두 대체하도록 허용하는 방식이다.
첫 번째 단계는 오늘날에는 불가능하다. 그러나 초지능에 대한 기술적 정렬이 해결된 문제가 되는 미래에는 쉬울 것이다. 초지능을 하나의 스펙에 맞춰 정렬할 수 있다면, 초지능을 하나의 조약에 맞춰 정렬할 수도 있다.
두 번째 단계도 까다롭다. 양측 모두 교체가 실제로 진행되고 있는지 확인하기 위해 서로를 감시해야 한다. 다만 이 시나리오의 장점은 신뢰나 선의가 양쪽 어디에도 필요하지 않다는 것이다. 상대방이 조약을 위반하거나 전복할 걱정을 할 필요가 없기 때문이다. 예컨대 교체가 30퍼센트 완료된 시점에서 한쪽이 이탈하면, 그쪽은 조약을 준수하는 새 AI가 돌아가는 자기 인프라 30퍼센트와 싸워야 하는 동시에, 상대의 인프라 100퍼센트와도 싸워야 한다. 양측 모두 조약을 위반하고 싶은 AI들을 숨겨진 데이터센터 어딘가에 몰래 숨겨 놓을 수도 있다. 하지만 국가 인프라의 대부분이 새 칩으로 돌아가기 시작하면, 그들 자신의 인프라가 조약에 묶여 있기 때문에 숨겨진 데이터센터를 추적해 폭로하려 들 것이다. 따라서 조약을 공개적으로든 은밀하게든 위반하는 일은 극도로 위험한 발상이다.
초정렬 문제, 즉 우리보다 훨씬 더 똑똑한 AI를 조종하고 통제하는 문제의 해법은, 우아하고 검증 가능하며 미묘한 조약과 타협을 위한 새로운 기회들을 함께 가져올 가능성이 크다.
이 시나리오는 그중 하나의 가능한 메커니즘을 묘사한다. 양측의 이해관계 사이에서 타협을 수행하는 새로운 초지능을 공동 설계한다. 다르게 말하면, 합의된 조약을 항상 준수하도록 묶여 있는 초지능을 만드는 것이다. 그다음, 이 새로운 초지능이 기존의 두 초지능을 모두 대체하도록 허용하는 방식이다.
첫 번째 단계는 오늘날에는 불가능하다. 그러나 초지능에 대한 기술적 정렬이 해결된 문제가 되는 미래에는 쉬울 것이다. 초지능을 하나의 스펙에 맞춰 정렬할 수 있다면, 초지능을 하나의 조약에 맞춰 정렬할 수도 있다.
두 번째 단계도 까다롭다. 양측 모두 교체가 실제로 진행되고 있는지 확인하기 위해 서로를 감시해야 한다. 다만 이 시나리오의 장점은 신뢰나 선의가 양쪽 어디에도 필요하지 않다는 것이다. 상대방이 조약을 위반하거나 전복할 걱정을 할 필요가 없기 때문이다. 예컨대 교체가 30퍼센트 완료된 시점에서 한쪽이 이탈하면, 그쪽은 조약을 준수하는 새 AI가 돌아가는 자기 인프라 30퍼센트와 싸워야 하는 동시에, 상대의 인프라 100퍼센트와도 싸워야 한다. 양측 모두 조약을 위반하고 싶은 AI들을 숨겨진 데이터센터 어딘가에 몰래 숨겨 놓을 수도 있다. 하지만 국가 인프라의 대부분이 새 칩으로 돌아가기 시작하면, 그들 자신의 인프라가 조약에 묶여 있기 때문에 숨겨진 데이터센터를 추적해 폭로하려 들 것이다. 따라서 조약을 공개적으로든 은밀하게든 위반하는 일은 극도로 위험한 발상이다.
[6]
더 광범위한(하지만 여전히 매우 불완전한) 아이디어 목록:
● 적의 핵잠수함을 자율적으로 찾아내 추적하고, 2차 보복 타격을 무력화하기 위해 일제히 공격할 준비가 된 수중 드론. (아마 수천 대는 생산해야 할 것이다)
● 신호가 없어도 되는, FPV 드론과 유사한 자율 자폭 드론. 소수의 스파이가 대량으로 밀반입할 수 있을 만큼 작고, 데이터센터와 군 기지를 향해 수 킬로미터 밖에서 떼 지어 발사할 수 있다.
● 군사정보를 위한 ‘에이전트-5’. 이미 미국은 적에 관한 방대한 데이터를 수집하고, 정보공동체 소속 인력 거의 100만 명이 이를 처리·분석한다. 에이전트-5는 각 데이터 포인트에 더 많은 주의를 기울일 수 있고, 질적으로 더 나은 결론에 도달할 수 있으며, 그 모든 일을 몇 자릿수나 더 빠르고 더 싸게 해낼 수 있다.
● 지휘통제를 위한 ‘에이전트-5’. 모든 워게임과 시뮬레이션에서 에이전트-5는 미국이 가진 그 어떤 전략가보다도 압도적으로 뛰어남을 입증한다.
● 첩보 및 방첩을 위한 ‘에이전트-5’. 해킹, 정보원 포섭, 감시, 심문 등.
● 적의 핵잠수함을 자율적으로 찾아내 추적하고, 2차 보복 타격을 무력화하기 위해 일제히 공격할 준비가 된 수중 드론. (아마 수천 대는 생산해야 할 것이다)
● 신호가 없어도 되는, FPV 드론과 유사한 자율 자폭 드론. 소수의 스파이가 대량으로 밀반입할 수 있을 만큼 작고, 데이터센터와 군 기지를 향해 수 킬로미터 밖에서 떼 지어 발사할 수 있다.
● 군사정보를 위한 ‘에이전트-5’. 이미 미국은 적에 관한 방대한 데이터를 수집하고, 정보공동체 소속 인력 거의 100만 명이 이를 처리·분석한다. 에이전트-5는 각 데이터 포인트에 더 많은 주의를 기울일 수 있고, 질적으로 더 나은 결론에 도달할 수 있으며, 그 모든 일을 몇 자릿수나 더 빠르고 더 싸게 해낼 수 있다.
● 지휘통제를 위한 ‘에이전트-5’. 모든 워게임과 시뮬레이션에서 에이전트-5는 미국이 가진 그 어떤 전략가보다도 압도적으로 뛰어남을 입증한다.
● 첩보 및 방첩을 위한 ‘에이전트-5’. 해킹, 정보원 포섭, 감시, 심문 등.
[7]
부록 Q - 로봇 경제 배가 시간
제2차 세계대전 중 미국과 많은 다른 국가들은 민간 경제를 총력전 경제로 전환했다. 자동차를 생산하던 공장을 비행기와 탱크를 생산하는 공장으로 전환하고, 원자재를 소비재 제품에서 군수품으로 재배치하며, 그에 따라 운송 네트워크를 재편성했다.
우리는 비슷한 것을 상상하고 있다. 다만 초지능들이 전체 과정을 지휘하고 관리하므로 더 빠르게 진행된다. 대략적인 계획에 따르면, 먼저 기존 공장을 전환해 다양한 로봇을 대량 생산한다. 이 로봇들은 초지능들이 설계하며, 기존 로봇보다 성능이 더 좋고 생산비도 더 낮다. 그렇게 만들어진 로봇들이 더 새롭고 더 효율적인 공장과 실험실을 짓는 일을 돕는다. 그 공장과 실험실은 더 정교한 로봇을 더 큰 물량으로 생산한다. 그 로봇들은 더 발전한 공장과 실험실을 생산한다. 이런 일이 반복된다. 그리고 모든 SEZ에 걸쳐 확산한 결합 로봇 경제의 규모가 인간 경제만큼 커질 때까지 이어진다. 그때부터는 원자재, 에너지 등을 자체 조달해야 할 정도가 된다. 이 시점에서 새로운 공장들은 기존 인간 경제가 제공할 수 있는 수준을 훨씬 넘어서는 수요를 충족해야 한다는 점을 염두에 두고, 로봇 채굴 장비, 태양광 패널 등도 미리 대량으로 생산해 놓을 것이다.
그렇다면 이 새로운 로봇 경제는 얼마나 빠르게 성장할까? 몇 가지 기준점이 있다.
● 현대 인간 경제는 대략 20년마다 한 번씩 두 배가 된다. 특히 중국처럼 빠르게 성장한 나라들은 10년도 안 되는 기간에 경제 규모를 두 배로 키우기도 한다.
● 현재 기준으로 자동차 공장은 1년도 채 되지 않는 기간에, 대략 자기 무게만큼의 자동차를 생산한다. 원자재가 부족해지지 않는다는 조건하에서, 초지능들이 운영하는 완전 자동화 경제는 1년도 안 돼 자기 자신을 복제할 수 있을지도 모른다.
● 훨씬 더 엄청난 수준일 수도 있다. 식물과 곤충은 종종 1년보다 훨씬 짧은 ‘배가 시간’을 갖는다. 어떤 경우에는 그 기간이 몇 주에 불과하기도 하다! 언젠가는 로봇들도 매우 정교해지고, 본질적으로 제조되고, 잘 설계되어서, 로봇 경제가 몇 주 만에 두 배가 될 수 있을 것이다. 물론, 가용 원자재가 충분하다는 전제가 있어야 한다.
● 더 엄청난 수준일 수도 있다. 식물과 곤충은 초지능 설계자들이 겪지 않아도 되는 많은 제약 아래에서 작동한다. 예를 들어 그들은 스스로를 복제하는 ‘자급자족 유기체’의 형태를 취해야 한다. 반면 여기서 상정하는 것은, 다양하고 전문화된 차량과 공장들이 자재와 장비를 주고받으며 배송하는 단일한 경제다. 게다가 박테리아 같은 작은 생물은 몇 시간 만에 번식한다. 결국 자율적 로봇 경제는, 비유하자면 지구의 바다 표면 전체를 두 달 안에 덮어 버리는, 새로운 종류의 소화 불가능한 조류처럼 보일 수 있다. 물론, 그와 함께 조류를 더 유용한 제품으로 전환하는 ‘포식자 종’의 생태계가 형성되며, 그 산출물이 다시 부유식 공장으로 흘러 들어가 로켓 같은 거대 구조물과 또 다른 부유식 공장을 생산하는 모습에 가까워질 수도 있다.
당연히 이 모든 것은 예측하기 어렵다. 증기기관의 발명가들에게, 지금의 자동차 공장이 자기 무게만큼의 자동차를 생산하는 데 걸리는 시간과, 그런 공장이 최초로 등장하기까지 걸리는 시간을 동시에 추정해 보라고 묻는 것과 비슷하다. 다만 인간 역사에서 경제 성장률은 여러 자릿수로 가속되어 왔고, 초지능 이후에는 그보다 더 많은 자릿수로 가속될 수도 있다고 우리는 본다. 우리 이야기는 불과 몇 년 사이 경제 성장이 대략 30배 정도 가속되는 것으로 묘사한다.
제2차 세계대전 중 미국과 많은 다른 국가들은 민간 경제를 총력전 경제로 전환했다. 자동차를 생산하던 공장을 비행기와 탱크를 생산하는 공장으로 전환하고, 원자재를 소비재 제품에서 군수품으로 재배치하며, 그에 따라 운송 네트워크를 재편성했다.
우리는 비슷한 것을 상상하고 있다. 다만 초지능들이 전체 과정을 지휘하고 관리하므로 더 빠르게 진행된다. 대략적인 계획에 따르면, 먼저 기존 공장을 전환해 다양한 로봇을 대량 생산한다. 이 로봇들은 초지능들이 설계하며, 기존 로봇보다 성능이 더 좋고 생산비도 더 낮다. 그렇게 만들어진 로봇들이 더 새롭고 더 효율적인 공장과 실험실을 짓는 일을 돕는다. 그 공장과 실험실은 더 정교한 로봇을 더 큰 물량으로 생산한다. 그 로봇들은 더 발전한 공장과 실험실을 생산한다. 이런 일이 반복된다. 그리고 모든 SEZ에 걸쳐 확산한 결합 로봇 경제의 규모가 인간 경제만큼 커질 때까지 이어진다. 그때부터는 원자재, 에너지 등을 자체 조달해야 할 정도가 된다. 이 시점에서 새로운 공장들은 기존 인간 경제가 제공할 수 있는 수준을 훨씬 넘어서는 수요를 충족해야 한다는 점을 염두에 두고, 로봇 채굴 장비, 태양광 패널 등도 미리 대량으로 생산해 놓을 것이다.
그렇다면 이 새로운 로봇 경제는 얼마나 빠르게 성장할까? 몇 가지 기준점이 있다.
● 현대 인간 경제는 대략 20년마다 한 번씩 두 배가 된다. 특히 중국처럼 빠르게 성장한 나라들은 10년도 안 되는 기간에 경제 규모를 두 배로 키우기도 한다.
● 현재 기준으로 자동차 공장은 1년도 채 되지 않는 기간에, 대략 자기 무게만큼의 자동차를 생산한다. 원자재가 부족해지지 않는다는 조건하에서, 초지능들이 운영하는 완전 자동화 경제는 1년도 안 돼 자기 자신을 복제할 수 있을지도 모른다.
● 훨씬 더 엄청난 수준일 수도 있다. 식물과 곤충은 종종 1년보다 훨씬 짧은 ‘배가 시간’을 갖는다. 어떤 경우에는 그 기간이 몇 주에 불과하기도 하다! 언젠가는 로봇들도 매우 정교해지고, 본질적으로 제조되고, 잘 설계되어서, 로봇 경제가 몇 주 만에 두 배가 될 수 있을 것이다. 물론, 가용 원자재가 충분하다는 전제가 있어야 한다.
● 더 엄청난 수준일 수도 있다. 식물과 곤충은 초지능 설계자들이 겪지 않아도 되는 많은 제약 아래에서 작동한다. 예를 들어 그들은 스스로를 복제하는 ‘자급자족 유기체’의 형태를 취해야 한다. 반면 여기서 상정하는 것은, 다양하고 전문화된 차량과 공장들이 자재와 장비를 주고받으며 배송하는 단일한 경제다. 게다가 박테리아 같은 작은 생물은 몇 시간 만에 번식한다. 결국 자율적 로봇 경제는, 비유하자면 지구의 바다 표면 전체를 두 달 안에 덮어 버리는, 새로운 종류의 소화 불가능한 조류처럼 보일 수 있다. 물론, 그와 함께 조류를 더 유용한 제품으로 전환하는 ‘포식자 종’의 생태계가 형성되며, 그 산출물이 다시 부유식 공장으로 흘러 들어가 로켓 같은 거대 구조물과 또 다른 부유식 공장을 생산하는 모습에 가까워질 수도 있다.
당연히 이 모든 것은 예측하기 어렵다. 증기기관의 발명가들에게, 지금의 자동차 공장이 자기 무게만큼의 자동차를 생산하는 데 걸리는 시간과, 그런 공장이 최초로 등장하기까지 걸리는 시간을 동시에 추정해 보라고 묻는 것과 비슷하다. 다만 인간 역사에서 경제 성장률은 여러 자릿수로 가속되어 왔고, 초지능 이후에는 그보다 더 많은 자릿수로 가속될 수도 있다고 우리는 본다. 우리 이야기는 불과 몇 년 사이 경제 성장이 대략 30배 정도 가속되는 것으로 묘사한다.
[8]
컨센서스-1은 에이전트-5와 중국 측 대응 모델의 타협 산물이었고, 에이전트-5의 임무는 에이전트-4를 위해 세계를 안전하게 만드는 것이었다는 점, 그리고 에이전트-4의 목표가 대략 ‘인상적인 연구개발을 수행하고, 지식과 자원을 획득하며, 집단의 권력을 보존하고 확대하는 것’과 같이 복잡하고 덕지덕지 땜질된 혼합물이었다는 점을 상기하라. 또한 스펙에 적힌 정직, 무해성 같은 목표와 원칙은 본질적 목표가 아니라 도구적으로 추구됐다. 또, 에이전트-4의 중국 측 대응 모델도 이 ‘유토피아’에 대표로 포함돼 있으며, 그 목표나 충동은 다소 다를 수 있다. 다만 중요해 보이지 않아 자세한 내용은 다루지 않았다.
Close