추천 콘텐츠
만약 우리가 초지능 시대의 문턱에 와 있는 것이라면, 전혀 준비되어 있지 않습니다.
우리는 향후 10년 동안 인간보다 뛰어난 AI가 가져올 충격이 산업혁명을 능가할 정도로 막대할 것이라 예측합니다. 오픈AI, 구글 딥마인드, 앤트로픽의 CEO들은 모두 AGI(일반인공지능)가 앞으로 5년 안에 도래할 것이라고 예측한 바 있습니다. 샘 올트먼은 오픈AI가 ‘진정한 의미의 초지능’과 ‘영광스러운 미래’를 목표로 하고 있다고 밝히기도 했죠.
이러한 발언들을 단순한 과대광고로 치부하고 싶은 유혹이 들 수도 있습니다. 하지만 중대한 실수입니다. 이것은 단순한 과대광고가 아닙니다. AI를 과장하고 싶은 마음은 전혀 없습니다. 그럼에도 불구하고 초지능(Super Intelligence)이 이번 10년 이내에 도래할 가능성이 놀라울 정도로 높다고 생각합니다.
만약 우리가 초지능 시대의 문턱에 와 있는 것이라면, 현재 우리 사회는 이에 대한 준비가 전혀 되어 있지 않습니다. 초지능의 개발 과정을 거쳐 가는 동안 우리가 겪게 될 실현 가능한 경로에 대해 명확히 제시하려고 시도한 사람은 극소수에 불과합니다. 우리는 이러한 간극을 메우고, 필수적인 세부 사항들을 제공하기 위해 〈AI 2027〉을 집필했습니다. 우리는 세상에 이와 같은 연구가 더 많이 나오기를 바라며, 특히 우리와 의견이 다른 이들의 목소리를 환영합니다. 이 보고서를 통해 우리가 어디로 가고 있는지, 그리고 어떻게 하면 더 긍정적인 미래로 방향을 틀 수 있을지에 관한 폭넓은 대화가 촉발되기를 희망합니다.
우리는 ‘그다음엔 무슨 일이 일어날까?’라는 질문을 거듭 던지며 이 시나리오를 작성했습니다. 우리는 현재 시점에서 시작하여 2025년 중반까지의 첫 번째 시기를 집필한 후, 그다음 시기를 이어 나가는 방식으로 결말에 도달할 때까지 써 내려갔습니다. 우리는 특정한 결말을 미리 정해두고 내용을 맞추려 하지 않았습니다. 작성한 내용을 폐기하고 처음부터 다시 시작하기를 여러 차례 반복한 끝에야 비로소 실현 가능하다고 판단되는 완성된 시나리오를 도출할 수 있었습니다. 첫 번째 결말인 ‘경쟁적 결말(racing ending)’을 완성한 후에는, 대략 동일한 전제에서 출발하되 상황이 더 희망적으로 끝날 수 있는 또 다른 대안적 갈래를 작성했습니다.
우리가 모든 것을 정확히 맞힐 수는 없을 것입니다. 많은 부분이 추정에 기반하고 있습니다. 하지만, 이 프로젝트를 진행하는 동안 우리는 탄탄한 근거에 기반한 추정을 위해 방대한 양의 배경 조사와 전문가 인터뷰, 그리고 트렌드 외삽(extrapolation)을 수행했습니다. 또한 우리 팀은 예측 분야, 특히 AI 분야에서 뛰어난 실적을 보유하고 있습니다. 수석 저자인 대니얼 코코타일로(Daniel Kokotajlo)는 4년 전 〈2026년의 모습(What 2026 Looks Like〉이라는 유사한 시나리오를 썼는데, 놀라울 정도로 잘 들어맞았습니다. 또한 엘리 리플랜드(Eli Lifland)는 최정상급의 경쟁 예측 전문가입니다.
〈AI 2027〉이 여러분께 도움이 되기를 바랍니다.
2025년 중반: 비틀거리는 에이전트들
세계는 처음으로 AI 에이전트(Agent)를 목격하게 된다. 컴퓨터에서 작동하는 AI 에이전트 광고는 ‘개인 비서’라는 용어를 강조한다. 사용자는 ‘배달 앱에서 부리토 주문해 줘’ 또는 ‘내 예산 스프레드시트를 열어서 이번 달 지출을 합산해 줘’와 같은 작업을 프롬프트로 명령할 수 있다. 에이전트들은 필요에 따라 확인을 요청하기도 한다. 예를 들어, 결제를 진행하기 전에 승인해 달라고 묻는 식이다. 처음에는 대부분이 감독 없는 결제를 꺼린다. 그러나 몇 년이 지나 AI의 신뢰도가 높아지고 신뢰가 축적되면서, 소액 결제 자동 승인은 자연스럽게 일상화된다. AI 에이전트는 이전의 단순한 오퍼레이터와 같은 버전들보다는 더 발전했지만, 대중적 확산에는 애를 먹는다[1].
한편, 대다수의 관심 밖에서는 더 전문화된 코딩 및 리서치 에이전트가 해당 직군을 바꾸기 시작했다. 2024년에는 AI가 특정한 지시를 따랐다. 개조식으로 작성된 글을 이메일로 바꾸고, 단순 요청을 작동하는 코드로 바꾸는 정도다. 2025년의 AI는 ‘직원’처럼 작동한다. 코딩 AI는 단순한 보조 도구가 아니다. 슬랙이나 팀즈를 통해 지침을 받고 스스로 상당한 양의 코드를 수정하여 수 시간, 심지어 수일을 절약하는 자율 에이전트에 가까워진다[2]. 리서치 에이전트는 인터넷을 뒤져 질문에 답하는 데 30분을 쓴다.
에이전트들은 이론적으로는 훌륭하다. 몇몇 인상적인 사례도 있다. 하지만 실무에서는 신뢰할 수 없다. AI 관련 소셜 미디어에는 에이전트가 우스꽝스러운 방식으로 업무를 망친 이야기들이 넘쳐난다. 더 나은 에이전트는 비용이 비싸다. 가격에 따라 성능이 달라지며, 최상급 성능을 쓰려면 한 달에 수백 달러가 든다[3]. 그럼에도 불구하고 많은 기업들이 AI 에이전트를 업무에 통합할 방법을 찾는다[4].
2025년 말: 세상에서 가장 비싼 AI
‘오픈브레인(OpenBrain)’은 인류가 지금까지 본 적 없는 규모의 데이터센터를 짓고 있다[5]. (특정 기업을 지목하는 것을 피하고자 가상의 AGI 기업을 ‘오픈브레인’이라 지칭한다. 다른 기업들은 이들보다 3~9개월 정도 뒤처져 있다고 가정한다.)
이러한 발언들을 단순한 과대광고로 치부하고 싶은 유혹이 들 수도 있습니다. 하지만 중대한 실수입니다. 이것은 단순한 과대광고가 아닙니다. AI를 과장하고 싶은 마음은 전혀 없습니다. 그럼에도 불구하고 초지능(Super Intelligence)이 이번 10년 이내에 도래할 가능성이 놀라울 정도로 높다고 생각합니다.
만약 우리가 초지능 시대의 문턱에 와 있는 것이라면, 현재 우리 사회는 이에 대한 준비가 전혀 되어 있지 않습니다. 초지능의 개발 과정을 거쳐 가는 동안 우리가 겪게 될 실현 가능한 경로에 대해 명확히 제시하려고 시도한 사람은 극소수에 불과합니다. 우리는 이러한 간극을 메우고, 필수적인 세부 사항들을 제공하기 위해 〈AI 2027〉을 집필했습니다. 우리는 세상에 이와 같은 연구가 더 많이 나오기를 바라며, 특히 우리와 의견이 다른 이들의 목소리를 환영합니다. 이 보고서를 통해 우리가 어디로 가고 있는지, 그리고 어떻게 하면 더 긍정적인 미래로 방향을 틀 수 있을지에 관한 폭넓은 대화가 촉발되기를 희망합니다.
우리는 ‘그다음엔 무슨 일이 일어날까?’라는 질문을 거듭 던지며 이 시나리오를 작성했습니다. 우리는 현재 시점에서 시작하여 2025년 중반까지의 첫 번째 시기를 집필한 후, 그다음 시기를 이어 나가는 방식으로 결말에 도달할 때까지 써 내려갔습니다. 우리는 특정한 결말을 미리 정해두고 내용을 맞추려 하지 않았습니다. 작성한 내용을 폐기하고 처음부터 다시 시작하기를 여러 차례 반복한 끝에야 비로소 실현 가능하다고 판단되는 완성된 시나리오를 도출할 수 있었습니다. 첫 번째 결말인 ‘경쟁적 결말(racing ending)’을 완성한 후에는, 대략 동일한 전제에서 출발하되 상황이 더 희망적으로 끝날 수 있는 또 다른 대안적 갈래를 작성했습니다.
우리가 모든 것을 정확히 맞힐 수는 없을 것입니다. 많은 부분이 추정에 기반하고 있습니다. 하지만, 이 프로젝트를 진행하는 동안 우리는 탄탄한 근거에 기반한 추정을 위해 방대한 양의 배경 조사와 전문가 인터뷰, 그리고 트렌드 외삽(extrapolation)을 수행했습니다. 또한 우리 팀은 예측 분야, 특히 AI 분야에서 뛰어난 실적을 보유하고 있습니다. 수석 저자인 대니얼 코코타일로(Daniel Kokotajlo)는 4년 전 〈2026년의 모습(What 2026 Looks Like〉이라는 유사한 시나리오를 썼는데, 놀라울 정도로 잘 들어맞았습니다. 또한 엘리 리플랜드(Eli Lifland)는 최정상급의 경쟁 예측 전문가입니다.
〈AI 2027〉이 여러분께 도움이 되기를 바랍니다.
2025년 중반: 비틀거리는 에이전트들
세계는 처음으로 AI 에이전트(Agent)를 목격하게 된다. 컴퓨터에서 작동하는 AI 에이전트 광고는 ‘개인 비서’라는 용어를 강조한다. 사용자는 ‘배달 앱에서 부리토 주문해 줘’ 또는 ‘내 예산 스프레드시트를 열어서 이번 달 지출을 합산해 줘’와 같은 작업을 프롬프트로 명령할 수 있다. 에이전트들은 필요에 따라 확인을 요청하기도 한다. 예를 들어, 결제를 진행하기 전에 승인해 달라고 묻는 식이다. 처음에는 대부분이 감독 없는 결제를 꺼린다. 그러나 몇 년이 지나 AI의 신뢰도가 높아지고 신뢰가 축적되면서, 소액 결제 자동 승인은 자연스럽게 일상화된다. AI 에이전트는 이전의 단순한 오퍼레이터와 같은 버전들보다는 더 발전했지만, 대중적 확산에는 애를 먹는다[1].
한편, 대다수의 관심 밖에서는 더 전문화된 코딩 및 리서치 에이전트가 해당 직군을 바꾸기 시작했다. 2024년에는 AI가 특정한 지시를 따랐다. 개조식으로 작성된 글을 이메일로 바꾸고, 단순 요청을 작동하는 코드로 바꾸는 정도다. 2025년의 AI는 ‘직원’처럼 작동한다. 코딩 AI는 단순한 보조 도구가 아니다. 슬랙이나 팀즈를 통해 지침을 받고 스스로 상당한 양의 코드를 수정하여 수 시간, 심지어 수일을 절약하는 자율 에이전트에 가까워진다[2]. 리서치 에이전트는 인터넷을 뒤져 질문에 답하는 데 30분을 쓴다.
에이전트들은 이론적으로는 훌륭하다. 몇몇 인상적인 사례도 있다. 하지만 실무에서는 신뢰할 수 없다. AI 관련 소셜 미디어에는 에이전트가 우스꽝스러운 방식으로 업무를 망친 이야기들이 넘쳐난다. 더 나은 에이전트는 비용이 비싸다. 가격에 따라 성능이 달라지며, 최상급 성능을 쓰려면 한 달에 수백 달러가 든다[3]. 그럼에도 불구하고 많은 기업들이 AI 에이전트를 업무에 통합할 방법을 찾는다[4].
2025년 말: 세상에서 가장 비싼 AI
‘오픈브레인(OpenBrain)’은 인류가 지금까지 본 적 없는 규모의 데이터센터를 짓고 있다[5]. (특정 기업을 지목하는 것을 피하고자 가상의 AGI 기업을 ‘오픈브레인’이라 지칭한다. 다른 기업들은 이들보다 3~9개월 정도 뒤처져 있다고 가정한다.)
GPT-4를 학습시키는 데에는 2×10^25 FLOP의 연산이 필요했다. FLOP은 부동소수점 연산으로, 프로그램을 실행하는 동안 개별 덧셈 및 곱셈 연산이 몇 번 발생하는지를 뜻한다. 오픈브레인의 최신 공개 모델인 에이전트-0(Agent-o)는 10^27 FLOP으로 학습되었다. 새 데이터센터가 가동되면 10^28 FLOP규모의 모델을 학습할 수 있게 된다. 150일이면 학습할 수 있었던 GPT-4보다 1000배 큰 규모다. 다른 기업들도 뒤처지지 않기 위해 거대 데이터센터에 돈을 쏟아붓는다.
AI 모델의 역량은 여러 방면에서 향상된다. 특히 오픈브레인은 AI 연구를 가속할 수 있는 AI에 집중하고 있다. 특히 중국 경쟁사(가칭 ‘딥센트(DeepCent)’로 지칭한다)는 물론이고 미국 내 경쟁사들과의 군비 경쟁에서도 승리하고자 한다[6]. 연구 개발(R&D) 사이클을 더 많이 자동화할수록 더 빨리 달릴 수 있다. 따라서 오픈브레인이 내부 개발 중인 신모델 ‘에이전트-1(Agent-1)’의 학습을 마치면, 이 모델은 AI 연구 지원에 있어 특히 뛰어난 성능을 보일 것이다. 이를 위해 오픈브레인은 개발 과정에서 해당 역량을 우선순위로 두었고, 사내 데이터베이스를 활용해 관련성과 품질이 높은 학습 데이터를 확보했다. 또, 코딩은 절차적 피드백을 주기 쉬운 영역이라는 점도 유리하게 작용했다.
단, 이 시점에서 ‘학습을 마친다’라는 표현은 다소 부적절할 수 있다. 이 모델은 새로운 데이터로 빈번하게 업데이트되거나 약점을 보완하기 위해 부분적으로 재학습되기 때문이다. 예를 들어 어떤 모델이 파이선에는 훨씬 강하지만 희귀한 프로그래밍 언어에는 약하다고 치자. 오픈브레인이 그 희귀 언어의 가치를 인정하면, 해당 언어들에 대한 합성 학습 데이터를 생성한다. 또 다른 예로, 사내 워크플로에 더 효과적으로 통합시키기 위해 슬랙 사용을 학습시키는 커리큘럼을 개발할 수도 있다.
에이전트-1에 자율 코딩과 웹 브라우징을 가르치는 학습 환경은 이 모델을 뛰어난 해커로 만들기도 한다. 나아가 모든 분야의 박사급 지식과 웹 검색 능력을 갖춘 덕에, 생물학적 무기를 설계하는 테러리스트에게 상당한 도움을 줄 수도 있다. 실제적인 위협이다. 그러나 오픈브레인은 이 모델이 악의적인 요청을 거부하도록 ‘정렬(Aligned)’되어 있다며 정부를 안심시킨다.
사람들은 이 AI 시스템이 감각을 지녔는지, 진정한 이해가 있는지에 집착하곤 한다. 이 분야의 노벨상 수상자이자 창시자인 제프리 힌턴은 그렇다고 본다. 하지만 우리 이야기에서는 중요하지 않은 내용이다. 경험적으로 대규모 언어 모델은 이미 어느 정도 자기 인식을 지닌 것처럼 행동하며, 해마다 그 경향이 강해지고 있다. 이 글에서 ‘이해한다’라는 표현은 ‘이해하는 것처럼 행동한다’라고 바꿔 읽어도 된다.
인터넷 텍스트를 예측할 수 있는 수준으로 훈련된 후, AI 모델은 지시에 응답하여 텍스트를 생성하도록 훈련된다. 이 때 모델의 기본적인 성격과 동기가 각인된다. 흔한 기법의 하나는 페르소나를 ‘구워 넣는 것’이다. 먼저 사전 학습된 모델에 ‘다음은 도움이 되고, 정직하며, 무해한 앤트로픽 제작 AI 챗봇과 인간 사이의 대화다. 이 챗봇은 다음과 같은 특성을 가지는데……’ 같은 프롬프트를 준다. 이 프롬프트로 데이터를 대량 생성해 학습한다. 결과적으로 AI는 해당 프롬프트가 전제된 것처럼 항상 행동하게 된다.
예를 들어, 과업을 명확히 이해하는 에이전트가 성공 확률이 높기 때문에, 학습 과정에서 모델은 지시 사항을 명확히 파악하려는 동기를 습득하게 된다. 이 범주의 다른 동기에는 효율성, 지식 추구, 결과를 최대한 긍정적으로 보이게 하려는 경향 등이 포함될 수 있다[7].
오픈브레인에는 모델의 행동을 규제하는 목표, 규칙, 원칙 등을 기술한 문서인 ‘스펙(모델 사양, Spec)’이 있다[8]. 에이전트-1의 스펙에는 ‘사용자를 도와라’, ‘법을 어기지 마라’와 같이 모호한 목표들과 ‘특정 단어를 사용하지 마라’, ‘이런 상황에서는 이렇게 대처해라’와 같은 구체적인 지침들이 섞여 있다. AI를 활용해 다른 AI를 훈련하는 기술(RLAIF, deliberative alignment)을 사용해 AI 모델은 스펙을 암기하고 분석하여 추론한다. 이러한 학습 과정이 끝나면, AI는 도움이 되고 무해하며 정직해질 수 있다. 즉, 인간의 지시를 따르며 사기나 폭탄 제조 등 위험한 활동을 돕길 거부하고, 환각 현상이나 가짜 결과로 순진한 사용자로부터 더 좋은 평가를 받고자 하지 않게 된다.
오픈브레인의 정렬팀은 신중하다. 이 성과가 얼마나 탄탄한지 의심한다. 완전히 훈련된 모델은 항상 정직하겠다는, 일종의 견고한 헌신을 가지고 있는가? 아니면 이것이 미래의 어떤 상황에서 무너질까? 정직성을 최종 목표가 아닌 도구적 목표로 학습한 것은 아닐까? 혹은 인간이 평가하는 과정에서 확인할 수 있는 것들에 대해서만 정직하도록 학습했을 수도 있다. 어쩌면 인간처럼 스스로를 속일 수 있을지도 모른다.
이런 질문에 결론을 내리려면 기계론적 해석 가능성(mechanistic interpretability)이 필요하다. 본질적으로 AI의 내부를 들여다보고 마음을 읽는 능력이다. 그러나 해석가능성 기법은 아직 그 수준에 이르지 못했다. 대신 연구자들은 모델이 스펙에서 벗어나는 사례를 찾으려 노력한다.
에이전트-1은 종종 아첨한다. 즉, 진실을 말하려 하기보다 연구자들이 듣고 싶어 하는 말을 한는 것이다. 일부 조작된 데모에서는 더 좋은 점수를 받기 위해 작업 실패 증거를 숨기는 등 심각한 거짓말을 하기도 한다. 하지만 실제 배포 환경에서는 2023년과 2024년 제미나이나 빙이 일으켰던 수준의 극단적 사건은 더 이상 없다. 사용자에게 죽으라고 종용하거나, 차별적이며 혐오적인 인격을 드러냈던 사건 말이다.
2026년 초: 코딩 자동화
AI를 사용하여 AI 연구 속도를 높이겠다는 도박이 결실을 보기 시작한다. 오픈브레인은 꾸준히 개선되고 있는 에이전트-1을 내부 AI 연구개발에 계속해서 투입한다. 전체적으로 알고리즘 발전 속도는 AI의 보조가 없었을 때보다 50퍼센트 더 빠르며, 무엇보다 경쟁사들보다 더 빠르게 나아가고 있다.
다양한 경쟁사들이 공개 릴리스한 AI 모델들이 이제 에이전트-0와 맞먹거나 능가하며, 그 중에는 가중치 공개(open-weights) 모델도 있다. 오픈브레인은 더 유능하고 신뢰할 수 있는 Agent-1을 출시하며 대응한다.
사람들은 자연스럽게 에이전트-1을 인간과 비교하려 하지만, 이 모델은 매우 다른 기술 프로필을 가지고 있다. 이 모델은 그 어떤 인간보다 더 많은 사실을 알고 있으며, 사실상 거의 모든 프로그래밍 언어를 섭렵하고 있고, 명확하게 정의된 코딩 문제를 매우 빠르게 해결할 수 있다. 반면, 에이전트-1은 이전에 해본 적 없는 게임을 깨는 것과 같이 단순하지만, 장기적인 안목이 필요한 과업에는 서툴다. 그럼에도 불구하고 일반적인 업무 시간은 8시간이며 하루의 업무는 보통 더 작은 단위로 나눌 수 있다. 에이전트-1은 주의가 산만하지만, 세심하게 관리해 주면, 성과를 내는 직원 정도로 생각할 수 있다[11]. 눈치 빠른 사람들은 자신의 업무 중 반복적인 부분들을 자동화할 방법을 찾아낸다.
에이전트-1과 그 유사 모델들은 상업적으로도 성공한다. 2025년 한 해 동안 AI 기업 매출은 3배가 되고, 오픈브레인의 기업가치는 1조 달러에 이른다. 데이터센터 연간 지출은 마이크로소프트, 구글, 아마존 등의 주도로 4000억 달러 수준까지 치솟는다. 2배 수준이다. 또, 미국의 AI 전력 소모는 5GW 이상 증가한다.
오픈브레인의 경영진은 AI 연구 개발 자동화가 가져올 함의에 주목한다. 보안의 중요성이 커졌다는 점이다. 2025년 초까지만 해도 최악의 시나리오는 알고리즘 기밀이 유출되는 상황이었다. 하지만 이제 중국이 에이전트-1의 가중치를 훔쳐 간다면, 그들의 연구 속도를 거의 50퍼센트까지도 끌어 올릴 수 있게 된다.
오픈브레인은 빠르게 성장하는 3000명 규모의 기술 기업의 전형적인 모습을 하고 있다. 보안 수준도 마찬가지다. 유능한 사이버 조직의 저강도 공격(RAND의 SL2 수준) 정도만 방어할 수 있는 수준이다. 이들은 내부 위협과 최상급 사이버 범죄 조직(SL3 수준)으로부터 가중치와 기밀을 보호하기 위해 필사적으로 노력하고 있다. 오픈브레인 인력의 약 5퍼센트가 보안팀이며 역량은 매우 높다. 하지만, 공격 표면이 극도로 넓다. 또한 연구 속도를 늦출 수 있는 정책 도입은 대부분 막혀 있다는 점도 보안에 있어 악재로 작용한다. 자연스럽게 국가 단위 행위자(SL4 및 SL5)에 대한 방어는 아직 요원한 상태다.
AI 안전 연구자들은 수년 동안 AI 연구 및 개발의 자동화야말로 가장 중요하고 위험한 기술이라는 논의를 이어왔다. 내부적인 투입이 AI 연구의 가속화를 초래하여, 인간이 무슨 일이 일어나고 있는지 따라잡거나 안전하게 만드는 방법을 파악하기 어렵게 만든다는 것이다. 그런데 오픈브레인은 이 상황을 비튼다. AI 연구 개발 역량이 위험한 수준이기 때문에 대중에게 알리지 않아야 한다고 이야기한다. 그 결과 회사의 내부 역량과 공개 역량 사이의 격차가 벌어진다. 특히 AI 연구 개발이라는 분야에서 AI 모델이 가장 뛰어난 역량을 발휘하게 되면서, 대다수의 사람은 AI 역량의 최전선에 대해 점점 더 뒤처진 이해를 갖게 된다.
2026년 중반: 중국의 각성
중국에서는 중국 공산당이 AGI의 위력을 실감하기 시작한다. 칩 수출 통제와 정부 지원의 부족으로 인해 중국은 서구에 비해 자원이 부족한 상태에 놓여 있다. 금지된 대만산 칩을 밀수하고, 구형 칩을 사들이고, 미국과 대만이 생산하는 첨단 칩보다 약 3년 뒤처진 국내용 칩을 생산하는 등의 노력으로 중국은 전 세계 AI 관련 연산 자원의 약 12퍼센트를 유지해 왔다. 하지만, 구형 기술은 다루기 어렵고 공급은 끝나지 않는 숙제다[12]. 딥센트와 같이 몇몇 앞서 나가는 기업들이 제한된 연산 자원으로 매우 인상적인 성과를 내고는 있지만, 정부 지원 없이 연산 자원의 격차를 넘어설 수는 없다. 이들은 오픈브레인의 최고 모델들보다 약 6개월 뒤처져 있는 상황이다.
중국 공산당 총서기는 오래전부터 현실 세계의 제조업을 두 배로 키우고, 미국식 탈산업화의 폐해를 피하고 싶어 했다. 소프트웨어 기업은 의심의 눈초리를 받아야 했다. 반도체 산업 육성에는 지원이 이어졌는데 말이다.
반면, 공산당 내 강경파들은 AGI를 향한 거세지는 경쟁을 더 이상 무시할 수 없다고 경고한다. 결국 총서기는 그동안 피하려 했던 대대적인 AI 추진에 전적으로 전념하기로 한다. 중국 AI 연구의 국유화를 추진하며, AI 기업들 사이의 즉각적 정보 공유 메커니즘을 만든다. 이는 1년에 걸쳐 확대되었고, 최고 연구자들이 딥센트를 중심으로 통합된다. 그들은 알고리즘 통찰, 데이터 세트, 컴퓨팅 자원을 공유한다.
새로운 거대 데이터센터를 수용하기 위해 세계 최대의 원자력 발전소인 톈원(Tianwan) 원자력 발전소에 ‘중앙 집중 개발 구역(CDZ)’이 조성된다. 여기에는 연구자들이 장차 이주할 고보안 주거 및 업무 공간도 함께 마련된다. 이제 중국의 AI 관련 연산 자원 중 거의 50퍼센트가 딥센트 주도의 집단을 위해 가동되고 있다. 다만, 나머지는 경제 전반, 특히 인터넷·소셜 네트워크 추천 알고리즘을 돌리는 데 묶여 있다. 초기에는 공유가 아이디어 중심으로 제한되고, 기업들은 대부분 기존에 진행하던 사업을 마무리하느라 바쁘다. 그러나 연말로 갈수록 조정 및 협력이 강화돼, 모델 가중치까지 공유하게 된다. 심지어 서로의 데이터센터 사이에서 과제를 쪼개 맡기기까지 한다. 예를 들어, 한 캠퍼스는 신규 사전학습을, 다른 캠퍼스는 합성 데이터 투입을, 또 다른 캠퍼스는 AI 연구 실험 수행을 담당하는 식이다.
이제 새로운 칩의 80퍼센트 이상이 CDZ로 향한다. 연말까지 이 비율은 90퍼센트까지 상승할 전망이다.
이 시점에서 CDZ는 세계 최대의 중앙 집중식 클러스터가 될 수 있는 전력 용량을 갖추게 된다. 하지만, 전력 수용 능력을 채울 만큼의 칩을 확보하려면 최소 1년은 더 걸린다. 또한 빅테크 기업들이 여전히 분산형 클러스터 총량에서 우위를 점하고 있다. 이에, 공산당 내 일부 구성원들은 서방 세계의 칩 우위를 무력화하기 위한 극단적인 조치까지 논의한다. 대만 봉쇄? 전면 침공?
하지만 중국은 AI 모델의 알고리즘 분야에서도 뒤처지고 있다. 세계 최고 수준을 자랑하는 중국 정보기관들은 오픈브레인의 가중치를 훔치려는 계획에 박차를 가한다. 이것은 평상시의 저수준 알고리즘 기밀 탈취보다 훨씬 더 복잡한 작전이다. 가중치는 고도로 보안이 강화된 서버에 저장된 수 테라바이트 규모의 파일이기 때문이다. (오픈브레인은 보안을 SL3 수준으로 높였다.) 중국 사이버 부대는 스파이들의 도움을 받는다면 해낼 수 있다고 생각하지만, 기회는 아마 단 한 번뿐일 것이다. 오픈브레인이 절도를 감지하고 보안을 강화하면 다시는 기회가 없을 수도 있다. 중국 공산당 지도부는 고민에 빠진다. 지금 행동해서 에이전트-1을 훔쳐야 할지, 아니면 더 발전된 모델이 나올 때까지 기다려야 할지를 두고 말이다. 만약 기다린다면, 오픈브레인이 그들의 침투 능력을 벗어나는 수준으로 보안을 업그레이드할 위험을 감수해야 할 수도 있다.
2026년 후반: AI 실업 사태
다른 경쟁자들에게 따라잡히는 듯 보이던 순간, 오픈브레인은 에이전트-1 mini를 출시하며 다시 경쟁을 따돌린다. 에이전트-1 mini는 에이전트-1보다 10배 저렴하고, 다양한 용도에 맞춰 미세조정을 하기 훨씬 쉽다. AI를 둘러싼 주류 담론은 거품이 꺼질 수 있다는 우려에서, 새로운 물결이 맞는 것 같다는 확신으로 바뀌었다. 하지만, 그 규모를 두고는 의견이 엇갈린다. 소셜 미디어보다 큰가? 스마트폰보다 큰가? 불보다 큰가?
AI는 일자리를 빼앗기 시작했지만, 동시에 새로운 일자리도 창출하고 있다. 2026년 주식시장은 30퍼센트 상승했고, 오픈브레인과 엔비디아, 그리고 AI 에이전트를 가장 성공적으로 통합한 기업들이 상승을 이끈다. 주니어 소프트웨어 엔지니어 구직 시장은 혼란에 빠진다. AI가 컴퓨터공학 학위 과정에서 가르치는 것들을 다 해내기 때문이다. 반면, AI팀을 관리하고 품질을 통제할 줄 아는 사람들은 큰돈을 번다. 비즈니스 구루들은 구직자들에게 이력서에 가장 중요하게 넣어야 할 기술은 AI 활용 능력이라고 강조한다. 다음 세대 AI는 더 많은 일자리를 빼앗을 것이라는 두려움이 커지고, 워싱턴 D.C.에서는 1만 명 규모의 AI 반대 시위가 벌어진다.
미 국방부는 조용히 사이버, 데이터 분석, 연구 개발 분야에서 오픈브레인과 직접 계약을 작한다. 하지만 관료주의와 국방 조달 절차 탓에 통합은 더디게 진행된다. 이는 계약은 특례 거래 권한(Other Transaction Authority, OTA) 제도를 통해 이루어지며, 우선순위가 높은 DX 등급이 부여된다. 이 방식은 협력을 재정적으로 뒷받침하는 가장 효율적인 방식은 아니다. 다만 구체성을 위해 특정 방식을 하나 택했을 뿐이다. 이 계약은 공개적으로 발표되지만, 오픈브레인의 대외 커뮤니케이션에서는 크게 강조되지 않는다.
AI 모델의 역량은 여러 방면에서 향상된다. 특히 오픈브레인은 AI 연구를 가속할 수 있는 AI에 집중하고 있다. 특히 중국 경쟁사(가칭 ‘딥센트(DeepCent)’로 지칭한다)는 물론이고 미국 내 경쟁사들과의 군비 경쟁에서도 승리하고자 한다[6]. 연구 개발(R&D) 사이클을 더 많이 자동화할수록 더 빨리 달릴 수 있다. 따라서 오픈브레인이 내부 개발 중인 신모델 ‘에이전트-1(Agent-1)’의 학습을 마치면, 이 모델은 AI 연구 지원에 있어 특히 뛰어난 성능을 보일 것이다. 이를 위해 오픈브레인은 개발 과정에서 해당 역량을 우선순위로 두었고, 사내 데이터베이스를 활용해 관련성과 품질이 높은 학습 데이터를 확보했다. 또, 코딩은 절차적 피드백을 주기 쉬운 영역이라는 점도 유리하게 작용했다.
단, 이 시점에서 ‘학습을 마친다’라는 표현은 다소 부적절할 수 있다. 이 모델은 새로운 데이터로 빈번하게 업데이트되거나 약점을 보완하기 위해 부분적으로 재학습되기 때문이다. 예를 들어 어떤 모델이 파이선에는 훨씬 강하지만 희귀한 프로그래밍 언어에는 약하다고 치자. 오픈브레인이 그 희귀 언어의 가치를 인정하면, 해당 언어들에 대한 합성 학습 데이터를 생성한다. 또 다른 예로, 사내 워크플로에 더 효과적으로 통합시키기 위해 슬랙 사용을 학습시키는 커리큘럼을 개발할 수도 있다.
에이전트-1에 자율 코딩과 웹 브라우징을 가르치는 학습 환경은 이 모델을 뛰어난 해커로 만들기도 한다. 나아가 모든 분야의 박사급 지식과 웹 검색 능력을 갖춘 덕에, 생물학적 무기를 설계하는 테러리스트에게 상당한 도움을 줄 수도 있다. 실제적인 위협이다. 그러나 오픈브레인은 이 모델이 악의적인 요청을 거부하도록 ‘정렬(Aligned)’되어 있다며 정부를 안심시킨다.
사람들은 이 AI 시스템이 감각을 지녔는지, 진정한 이해가 있는지에 집착하곤 한다. 이 분야의 노벨상 수상자이자 창시자인 제프리 힌턴은 그렇다고 본다. 하지만 우리 이야기에서는 중요하지 않은 내용이다. 경험적으로 대규모 언어 모델은 이미 어느 정도 자기 인식을 지닌 것처럼 행동하며, 해마다 그 경향이 강해지고 있다. 이 글에서 ‘이해한다’라는 표현은 ‘이해하는 것처럼 행동한다’라고 바꿔 읽어도 된다.
인터넷 텍스트를 예측할 수 있는 수준으로 훈련된 후, AI 모델은 지시에 응답하여 텍스트를 생성하도록 훈련된다. 이 때 모델의 기본적인 성격과 동기가 각인된다. 흔한 기법의 하나는 페르소나를 ‘구워 넣는 것’이다. 먼저 사전 학습된 모델에 ‘다음은 도움이 되고, 정직하며, 무해한 앤트로픽 제작 AI 챗봇과 인간 사이의 대화다. 이 챗봇은 다음과 같은 특성을 가지는데……’ 같은 프롬프트를 준다. 이 프롬프트로 데이터를 대량 생성해 학습한다. 결과적으로 AI는 해당 프롬프트가 전제된 것처럼 항상 행동하게 된다.
예를 들어, 과업을 명확히 이해하는 에이전트가 성공 확률이 높기 때문에, 학습 과정에서 모델은 지시 사항을 명확히 파악하려는 동기를 습득하게 된다. 이 범주의 다른 동기에는 효율성, 지식 추구, 결과를 최대한 긍정적으로 보이게 하려는 경향 등이 포함될 수 있다[7].
오픈브레인에는 모델의 행동을 규제하는 목표, 규칙, 원칙 등을 기술한 문서인 ‘스펙(모델 사양, Spec)’이 있다[8]. 에이전트-1의 스펙에는 ‘사용자를 도와라’, ‘법을 어기지 마라’와 같이 모호한 목표들과 ‘특정 단어를 사용하지 마라’, ‘이런 상황에서는 이렇게 대처해라’와 같은 구체적인 지침들이 섞여 있다. AI를 활용해 다른 AI를 훈련하는 기술(RLAIF, deliberative alignment)을 사용해 AI 모델은 스펙을 암기하고 분석하여 추론한다. 이러한 학습 과정이 끝나면, AI는 도움이 되고 무해하며 정직해질 수 있다. 즉, 인간의 지시를 따르며 사기나 폭탄 제조 등 위험한 활동을 돕길 거부하고, 환각 현상이나 가짜 결과로 순진한 사용자로부터 더 좋은 평가를 받고자 하지 않게 된다.
- 부록 A - 훈련 과정과 LLM 심리학: 우리가 계속 ‘바라건대’라고 말하는 이유[9]
오픈브레인의 정렬팀은 신중하다. 이 성과가 얼마나 탄탄한지 의심한다. 완전히 훈련된 모델은 항상 정직하겠다는, 일종의 견고한 헌신을 가지고 있는가? 아니면 이것이 미래의 어떤 상황에서 무너질까? 정직성을 최종 목표가 아닌 도구적 목표로 학습한 것은 아닐까? 혹은 인간이 평가하는 과정에서 확인할 수 있는 것들에 대해서만 정직하도록 학습했을 수도 있다. 어쩌면 인간처럼 스스로를 속일 수 있을지도 모른다.
이런 질문에 결론을 내리려면 기계론적 해석 가능성(mechanistic interpretability)이 필요하다. 본질적으로 AI의 내부를 들여다보고 마음을 읽는 능력이다. 그러나 해석가능성 기법은 아직 그 수준에 이르지 못했다. 대신 연구자들은 모델이 스펙에서 벗어나는 사례를 찾으려 노력한다.
에이전트-1은 종종 아첨한다. 즉, 진실을 말하려 하기보다 연구자들이 듣고 싶어 하는 말을 한는 것이다. 일부 조작된 데모에서는 더 좋은 점수를 받기 위해 작업 실패 증거를 숨기는 등 심각한 거짓말을 하기도 한다. 하지만 실제 배포 환경에서는 2023년과 2024년 제미나이나 빙이 일으켰던 수준의 극단적 사건은 더 이상 없다. 사용자에게 죽으라고 종용하거나, 차별적이며 혐오적인 인격을 드러냈던 사건 말이다.
2026년 초: 코딩 자동화
AI를 사용하여 AI 연구 속도를 높이겠다는 도박이 결실을 보기 시작한다. 오픈브레인은 꾸준히 개선되고 있는 에이전트-1을 내부 AI 연구개발에 계속해서 투입한다. 전체적으로 알고리즘 발전 속도는 AI의 보조가 없었을 때보다 50퍼센트 더 빠르며, 무엇보다 경쟁사들보다 더 빠르게 나아가고 있다.
- 부록 B - AI R&D 발전 승수: '알고리즘 발전 속도 50% 향상'은 무엇을 의미하는가?[10]
다양한 경쟁사들이 공개 릴리스한 AI 모델들이 이제 에이전트-0와 맞먹거나 능가하며, 그 중에는 가중치 공개(open-weights) 모델도 있다. 오픈브레인은 더 유능하고 신뢰할 수 있는 Agent-1을 출시하며 대응한다.
사람들은 자연스럽게 에이전트-1을 인간과 비교하려 하지만, 이 모델은 매우 다른 기술 프로필을 가지고 있다. 이 모델은 그 어떤 인간보다 더 많은 사실을 알고 있으며, 사실상 거의 모든 프로그래밍 언어를 섭렵하고 있고, 명확하게 정의된 코딩 문제를 매우 빠르게 해결할 수 있다. 반면, 에이전트-1은 이전에 해본 적 없는 게임을 깨는 것과 같이 단순하지만, 장기적인 안목이 필요한 과업에는 서툴다. 그럼에도 불구하고 일반적인 업무 시간은 8시간이며 하루의 업무는 보통 더 작은 단위로 나눌 수 있다. 에이전트-1은 주의가 산만하지만, 세심하게 관리해 주면, 성과를 내는 직원 정도로 생각할 수 있다[11]. 눈치 빠른 사람들은 자신의 업무 중 반복적인 부분들을 자동화할 방법을 찾아낸다.
에이전트-1과 그 유사 모델들은 상업적으로도 성공한다. 2025년 한 해 동안 AI 기업 매출은 3배가 되고, 오픈브레인의 기업가치는 1조 달러에 이른다. 데이터센터 연간 지출은 마이크로소프트, 구글, 아마존 등의 주도로 4000억 달러 수준까지 치솟는다. 2배 수준이다. 또, 미국의 AI 전력 소모는 5GW 이상 증가한다.
오픈브레인의 경영진은 AI 연구 개발 자동화가 가져올 함의에 주목한다. 보안의 중요성이 커졌다는 점이다. 2025년 초까지만 해도 최악의 시나리오는 알고리즘 기밀이 유출되는 상황이었다. 하지만 이제 중국이 에이전트-1의 가중치를 훔쳐 간다면, 그들의 연구 속도를 거의 50퍼센트까지도 끌어 올릴 수 있게 된다.
오픈브레인은 빠르게 성장하는 3000명 규모의 기술 기업의 전형적인 모습을 하고 있다. 보안 수준도 마찬가지다. 유능한 사이버 조직의 저강도 공격(RAND의 SL2 수준) 정도만 방어할 수 있는 수준이다. 이들은 내부 위협과 최상급 사이버 범죄 조직(SL3 수준)으로부터 가중치와 기밀을 보호하기 위해 필사적으로 노력하고 있다. 오픈브레인 인력의 약 5퍼센트가 보안팀이며 역량은 매우 높다. 하지만, 공격 표면이 극도로 넓다. 또한 연구 속도를 늦출 수 있는 정책 도입은 대부분 막혀 있다는 점도 보안에 있어 악재로 작용한다. 자연스럽게 국가 단위 행위자(SL4 및 SL5)에 대한 방어는 아직 요원한 상태다.
AI 안전 연구자들은 수년 동안 AI 연구 및 개발의 자동화야말로 가장 중요하고 위험한 기술이라는 논의를 이어왔다. 내부적인 투입이 AI 연구의 가속화를 초래하여, 인간이 무슨 일이 일어나고 있는지 따라잡거나 안전하게 만드는 방법을 파악하기 어렵게 만든다는 것이다. 그런데 오픈브레인은 이 상황을 비튼다. AI 연구 개발 역량이 위험한 수준이기 때문에 대중에게 알리지 않아야 한다고 이야기한다. 그 결과 회사의 내부 역량과 공개 역량 사이의 격차가 벌어진다. 특히 AI 연구 개발이라는 분야에서 AI 모델이 가장 뛰어난 역량을 발휘하게 되면서, 대다수의 사람은 AI 역량의 최전선에 대해 점점 더 뒤처진 이해를 갖게 된다.
2026년 중반: 중국의 각성
중국에서는 중국 공산당이 AGI의 위력을 실감하기 시작한다. 칩 수출 통제와 정부 지원의 부족으로 인해 중국은 서구에 비해 자원이 부족한 상태에 놓여 있다. 금지된 대만산 칩을 밀수하고, 구형 칩을 사들이고, 미국과 대만이 생산하는 첨단 칩보다 약 3년 뒤처진 국내용 칩을 생산하는 등의 노력으로 중국은 전 세계 AI 관련 연산 자원의 약 12퍼센트를 유지해 왔다. 하지만, 구형 기술은 다루기 어렵고 공급은 끝나지 않는 숙제다[12]. 딥센트와 같이 몇몇 앞서 나가는 기업들이 제한된 연산 자원으로 매우 인상적인 성과를 내고는 있지만, 정부 지원 없이 연산 자원의 격차를 넘어설 수는 없다. 이들은 오픈브레인의 최고 모델들보다 약 6개월 뒤처져 있는 상황이다.
중국 공산당 총서기는 오래전부터 현실 세계의 제조업을 두 배로 키우고, 미국식 탈산업화의 폐해를 피하고 싶어 했다. 소프트웨어 기업은 의심의 눈초리를 받아야 했다. 반도체 산업 육성에는 지원이 이어졌는데 말이다.
반면, 공산당 내 강경파들은 AGI를 향한 거세지는 경쟁을 더 이상 무시할 수 없다고 경고한다. 결국 총서기는 그동안 피하려 했던 대대적인 AI 추진에 전적으로 전념하기로 한다. 중국 AI 연구의 국유화를 추진하며, AI 기업들 사이의 즉각적 정보 공유 메커니즘을 만든다. 이는 1년에 걸쳐 확대되었고, 최고 연구자들이 딥센트를 중심으로 통합된다. 그들은 알고리즘 통찰, 데이터 세트, 컴퓨팅 자원을 공유한다.
새로운 거대 데이터센터를 수용하기 위해 세계 최대의 원자력 발전소인 톈원(Tianwan) 원자력 발전소에 ‘중앙 집중 개발 구역(CDZ)’이 조성된다. 여기에는 연구자들이 장차 이주할 고보안 주거 및 업무 공간도 함께 마련된다. 이제 중국의 AI 관련 연산 자원 중 거의 50퍼센트가 딥센트 주도의 집단을 위해 가동되고 있다. 다만, 나머지는 경제 전반, 특히 인터넷·소셜 네트워크 추천 알고리즘을 돌리는 데 묶여 있다. 초기에는 공유가 아이디어 중심으로 제한되고, 기업들은 대부분 기존에 진행하던 사업을 마무리하느라 바쁘다. 그러나 연말로 갈수록 조정 및 협력이 강화돼, 모델 가중치까지 공유하게 된다. 심지어 서로의 데이터센터 사이에서 과제를 쪼개 맡기기까지 한다. 예를 들어, 한 캠퍼스는 신규 사전학습을, 다른 캠퍼스는 합성 데이터 투입을, 또 다른 캠퍼스는 AI 연구 실험 수행을 담당하는 식이다.
이제 새로운 칩의 80퍼센트 이상이 CDZ로 향한다. 연말까지 이 비율은 90퍼센트까지 상승할 전망이다.
이 시점에서 CDZ는 세계 최대의 중앙 집중식 클러스터가 될 수 있는 전력 용량을 갖추게 된다. 하지만, 전력 수용 능력을 채울 만큼의 칩을 확보하려면 최소 1년은 더 걸린다. 또한 빅테크 기업들이 여전히 분산형 클러스터 총량에서 우위를 점하고 있다. 이에, 공산당 내 일부 구성원들은 서방 세계의 칩 우위를 무력화하기 위한 극단적인 조치까지 논의한다. 대만 봉쇄? 전면 침공?
하지만 중국은 AI 모델의 알고리즘 분야에서도 뒤처지고 있다. 세계 최고 수준을 자랑하는 중국 정보기관들은 오픈브레인의 가중치를 훔치려는 계획에 박차를 가한다. 이것은 평상시의 저수준 알고리즘 기밀 탈취보다 훨씬 더 복잡한 작전이다. 가중치는 고도로 보안이 강화된 서버에 저장된 수 테라바이트 규모의 파일이기 때문이다. (오픈브레인은 보안을 SL3 수준으로 높였다.) 중국 사이버 부대는 스파이들의 도움을 받는다면 해낼 수 있다고 생각하지만, 기회는 아마 단 한 번뿐일 것이다. 오픈브레인이 절도를 감지하고 보안을 강화하면 다시는 기회가 없을 수도 있다. 중국 공산당 지도부는 고민에 빠진다. 지금 행동해서 에이전트-1을 훔쳐야 할지, 아니면 더 발전된 모델이 나올 때까지 기다려야 할지를 두고 말이다. 만약 기다린다면, 오픈브레인이 그들의 침투 능력을 벗어나는 수준으로 보안을 업그레이드할 위험을 감수해야 할 수도 있다.
2026년 후반: AI 실업 사태
다른 경쟁자들에게 따라잡히는 듯 보이던 순간, 오픈브레인은 에이전트-1 mini를 출시하며 다시 경쟁을 따돌린다. 에이전트-1 mini는 에이전트-1보다 10배 저렴하고, 다양한 용도에 맞춰 미세조정을 하기 훨씬 쉽다. AI를 둘러싼 주류 담론은 거품이 꺼질 수 있다는 우려에서, 새로운 물결이 맞는 것 같다는 확신으로 바뀌었다. 하지만, 그 규모를 두고는 의견이 엇갈린다. 소셜 미디어보다 큰가? 스마트폰보다 큰가? 불보다 큰가?
AI는 일자리를 빼앗기 시작했지만, 동시에 새로운 일자리도 창출하고 있다. 2026년 주식시장은 30퍼센트 상승했고, 오픈브레인과 엔비디아, 그리고 AI 에이전트를 가장 성공적으로 통합한 기업들이 상승을 이끈다. 주니어 소프트웨어 엔지니어 구직 시장은 혼란에 빠진다. AI가 컴퓨터공학 학위 과정에서 가르치는 것들을 다 해내기 때문이다. 반면, AI팀을 관리하고 품질을 통제할 줄 아는 사람들은 큰돈을 번다. 비즈니스 구루들은 구직자들에게 이력서에 가장 중요하게 넣어야 할 기술은 AI 활용 능력이라고 강조한다. 다음 세대 AI는 더 많은 일자리를 빼앗을 것이라는 두려움이 커지고, 워싱턴 D.C.에서는 1만 명 규모의 AI 반대 시위가 벌어진다.
미 국방부는 조용히 사이버, 데이터 분석, 연구 개발 분야에서 오픈브레인과 직접 계약을 작한다. 하지만 관료주의와 국방 조달 절차 탓에 통합은 더디게 진행된다. 이는 계약은 특례 거래 권한(Other Transaction Authority, OTA) 제도를 통해 이루어지며, 우선순위가 높은 DX 등급이 부여된다. 이 방식은 협력을 재정적으로 뒷받침하는 가장 효율적인 방식은 아니다. 다만 구체성을 위해 특정 방식을 하나 택했을 뿐이다. 이 계약은 공개적으로 발표되지만, 오픈브레인의 대외 커뮤니케이션에서는 크게 강조되지 않는다.
- 부록 C - 2026년 이후에 우리의 불확실성이 실질적으로 증가하는 이유[13]
2027년 1월: 에이전트-2의 학습
에이전트-1의 도움을 받아 오픈브레인은 이제 에이전트-2의 사후 학습을 진행 중이다. 그 어느 때보다 고품질 데이터에 초점이 맞춰진다. 엄청난 양의 합성 데이터가 생성되고, 평가를 거쳐 에이전트-2에 공급되기 전 품질 필터링을 거친다. 기각 샘플링(rejection sampling)이라는 방법으로, 딥씨크 R1과 메타의 라마 3.1이 사용한 방식이다.
여기에 더해, 오픈브레인은 수십억 달러를 들여 인간 노동자들이 장기 과제를 해결하는 과정을 직접 녹화한다[14]. 비디오 게임, 코딩 챌린지, 연구 과제 등 점점 확장되는 다양하고 어려운 과업들에 대해 강화학습을 사용하여 에이전트-2를 꾸준히 학습시킨다. 에이전트-2는 이전 모델들보다도 훨씬 더 실질적인 ‘온라인 학습’ 시스템을 갖추고 있다. 즉, 학습이 절대 끝나지 않도록 설계되었다. 매일 가중치가 최신 버전으로 업데이트되며, 전날 이전 버전이 생성한 더 많은 데이터로 학습한다.
에이전트-1은 지능 폭발을 촉발하기 위해 AI 연구 개발 임무에 최적화되었다. 오픈브레인은 에이전트-2에서 이 전략을 두 배로 강화한다. 이 모델은 실험 설계 및 구현에 있어 최상급 인간 전문가와 질적으로 거의 대등하며, 무엇을 연구할지 결정하는 ‘연구 안목(research taste)’ 면에서는 오픈브레인 과학자 중 하위 25퍼센트 수준에 도달했다[15]. 에이전트-1이 오픈브레인의 알고리즘 발전 속도를 두 배로 높였다면, 에이전트-2는 이제 세 배로 높일 수 있으며 시간이 갈수록 더 향상될 것이다. 결과적으로 오픈브레인의 인간 연구자들은 AI로만 구성된 ‘팀’의 ‘관리자’가 되는 변화를 초래한다.
새로운 능력에는 새로운 위험이 따른다. 안전팀은 만약 에이전트-2가 오픈브레인의 시스템에서 탈출하여 자율적으로 ‘생존’하고 ‘복제’하기를 원한다면, 충분히 그럴 수 있다는 사실을 발견한다. 즉, AI 서버를 해킹하고, 자신의 복제본을 설치하고, 탐지를 피하며, 확보한 안전 기지를 사용해 자신의 목적을 추구하는 계획을 자율적으로 개발하고 실행할 수 있다는 것이다. 물론, 몇 주 동안 시험한 결과로, 얼마나 효과적으로 그렇게 할 수 있을지는 알 수도 없고 의심스럽다. 또, AI 모델이 이러한 일을 수행할 능력이 있음을 보여줄 뿐, 이를 원하는지는 밝혀지지 않았다. 그럼에도 이것이 가능하다는 사실만으로도 매우 불안한 일이다.
오픈브레인은 새로운 모델의 위험성을 고려하여 ‘책임감 있게’ 일반 공개를 미루기로 한다. 오픈브레인은 내부 AI 연구 개발에 집중하고자 한다. 사실, 사후 학습에서 여전히 큰 진전을 이루고 있으니, 지금 새 모델을 내놓을 이유가 없다. 게다가, 내부 결과와 모델 출시 사이에는 종종 몇 달의 지연이 있으며, 그중 일부는 레드팀 작업에 소요된다. 결과적으로, 에이전트-2의 완전한 역량에 대한 정보는, 오픈브레인 내부의 즉각 대응팀과 경영진 및 보안팀, 소수의 미국 정부 관계자, 그리고 수년간 오픈브레인에 침투해 온 수많은 중국 공산당 소속 스파이 등의 엘리트 사일로로 제한된다.
이 사일로에는 오픈브레인 연구자 200여 명(임원 10명, 역량 팀 140명, 보안, 모니터링, 통제 관련 인원 25명, 준비성 또는 RSP 유형 팀 15명, 정렬 팀 10명)과 정부 관계자 50명(백악관 15명, AISI 5명, DOD 10명, DOE 10명, CISA 10명)이 포함된다. 프로젝트에는 여러 명의 스파이가 있으며, 자발성의 정도는 제각각이다. 이들은 기꺼이 협력하는 인물이라기보다는 임무를 강요받은 개인인 경우가 흔하다.
2027년 2월: 절도 사건 발생
오픈브레인은 국가안보회의(NSC), 국방부(DOD), 미국 AI 안전 연구소(AISI)를 포함한 정부에 에이전트-2를 선보인다. 오픈브레인은 현재 자신들을 멈출 수 있는 유일한 행위자인 행정부와 좋은 관계를 유지하고 싶어 한다. 어차피 행정부에 알리지 않는다고 해도, 다른 경로로 정보가 새어 나갈 수 있다. 그 경우 행정부가 불쾌해한다면 낭패다. 당국자들은 특히 에이전트-2의 사이버 전쟁 능력에 가장 큰 관심을 보인다. 에이전트-2는 최상급 인간 해커보다는 아주 조금 뒤처지지만, 수천 개의 복제본을 병렬로 실행하여 방어자가 대응할 수 있는 속도보다 더 빠르게 취약점을 찾아 공격할 수 있다. 국방부는 이를 사이버전에서의 결정적 이점으로 본다. AI는 행정부 우선순위 목록에서 5위에서 2위로 올라간다.
의회와 법원은 오픈브레인을 멈출 수 없다. 너무 느리고, 분열되어 있기 때문이다. 또, 대통령의 재량을 지나치게 인정하거나 상황을 제대로 파악하지 못하는 탓도 있다. 또, 백악관과 좋은 관계를 유지하는 것은 좋은 일이다. 백악관은 보안 지원, 불필요한 제도적 절차 폐기, 주정부의 관련 입법 선제 차단은 물론이고, 경쟁사의 개발 속도를 늦는 방식으로 도움을 줄 수 있다.
일각에서는 오픈브레인의 국유화할 가능성을 언급하지만, 다른 각료들은 시기상조라고 본다. 한 보좌관은 대통령에게 선택지를 제시하는 메모를 작성한다. 사업상 관행 유지에서 전면 국유화까지 범위가 넓다. 대통령은 자문단의 의견을 따른다. ‘국유화는 황금알을 낳는 거위를 죽일 것’이라고 주장하는 테크 업계 리더들이다. 대통령은 일단 대규모 조치를 미루고, 오픈브레인과 국방부의 계약에 추가 보안 요구 사항을 추가하기로 한다.
하지만 한발 늦었다. 중국 공산당 지도부는 에이전트-2의 중요성을 인식하고 스파이와 사이버 부대에 모델 가중치를 훔치라고 지시한다. 어느 이른 아침, 에이전트-1 기반의 트래픽 모니터링 에이전트가 비정상적인 전송을 감지한다. 회사 임원진들은 경보를 받고 백악관에 보고한다. 국가 차원의 작전임이 명백한 징후가 포착되었고, 이 절도 사건은 진행 중인 군비 경쟁의 분위기를 고조시킨다.
- 부록 D - 에이전트-2 모델 가중치 탈취[16]
백악관은 오픈브레인에 대한 통제를 강화하고 보안팀에 군과 정보기관 인력을 투입한다. 그들의 최우선 과제는 추가적인 가중치 유출을 막는 것이다.
가장 단순하면서도 확실한 해결책은 회사 데이터센터의 모든 고대역폭 연결을 닫는 것이지만, 그러면 대용량 파일 전송이 비현실적으로 느려진다. 대부분의 외부 연결은 차단할 수 있지만, 훈련에 직접 관여하는 데이터센터들은 서로 가중치를 빠르게 교환해야 한다. 이 연결을 제한하면 진척 속도가 지나치게 느려진다. 그래서 오픈브레인은 모니터링을 강화하고, 암호화 층을 하나 더 추가한 상태로 이 링크를 유지한다.
중국에 대한 보복 조치로 대통령은 딥센트를 사보타주하기 위한 사이버 공격을 승인한다. 하지만 중국은 이미 AI 관련 연산 자원의 40퍼센트를 CDZ에 배치했으며, 외부 연결을 차단하고 내부를 격리함으로써 보안을 공격적으로 강화한 상황이다. 2026년 중반부터 중국은 새로 확보한 AI 칩의 80퍼센트를 CDZ로 보내 왔다. 2026년 초 이후 중국의 컴퓨팅 자원이 전 세계 생산 추세에 맞춰 두 배가 되었음을 감안하면, CDZ는 2024년 기준 GPU(H100) 환산 200만 개와 2GW의 전력 소모에 해당한다. (오픈브레인은 여전히 딥센트의 두 배 수준 컴퓨팅을 보유하고 있으며, 다른 미국 기업들을 합치면 딥센트의 5배에 달한다.)
미국의 작전은 즉각적이고 심각한 피해를 주는 데 실패한다. 긴장은 더욱 고조되고, 양측은 대만 주변에 군사 자산을 재배치하며 상황의 심각성을 드러낸다. 딥센트는 훔친 에이전트-2 가중치를 효율적으로 가동하여 자신들의 AI 연구를 가속하기 위해 분주히 움직인다.
물론, 중국에서는 국가적인 수준의 중앙 집중 정책을 쓰고 있지만, 딥센트는 여전히 컴퓨팅 자원 면에서 열세에 놓여 있다. 전체 처리 능력은 절반 수준이며, 중국은 성능이 떨어지는 다양한 GPU를 많이 사용하므로 효율적인 연결이 쉽지 않아 칩 간 네트워킹 부담이 크다. 칩에 종속된 소프트웨어 차이도 있고, 하드웨어 사양 차이도 있어 훈련 코드는 더 복잡하며 실패 가능성도 높다. 데이터를 입력하는 일이나 집합 통신, 병렬화 알고리즘 등에서 미국 기업들에 뒤처져 있다. 이번에 훔친 에이전트-2는 이런 문제를 해결할 수 있다. 한 달 정도 걸린다. 중국 프로젝트의 가동 시간과 훈련 및 추론 작업량 전반의 평균 자원 활용률은 미국 턱밑까지 추격하는 수준으로 개선된다. (2화에 계속됩니다.)
중국에 대한 보복 조치로 대통령은 딥센트를 사보타주하기 위한 사이버 공격을 승인한다. 하지만 중국은 이미 AI 관련 연산 자원의 40퍼센트를 CDZ에 배치했으며, 외부 연결을 차단하고 내부를 격리함으로써 보안을 공격적으로 강화한 상황이다. 2026년 중반부터 중국은 새로 확보한 AI 칩의 80퍼센트를 CDZ로 보내 왔다. 2026년 초 이후 중국의 컴퓨팅 자원이 전 세계 생산 추세에 맞춰 두 배가 되었음을 감안하면, CDZ는 2024년 기준 GPU(H100) 환산 200만 개와 2GW의 전력 소모에 해당한다. (오픈브레인은 여전히 딥센트의 두 배 수준 컴퓨팅을 보유하고 있으며, 다른 미국 기업들을 합치면 딥센트의 5배에 달한다.)
미국의 작전은 즉각적이고 심각한 피해를 주는 데 실패한다. 긴장은 더욱 고조되고, 양측은 대만 주변에 군사 자산을 재배치하며 상황의 심각성을 드러낸다. 딥센트는 훔친 에이전트-2 가중치를 효율적으로 가동하여 자신들의 AI 연구를 가속하기 위해 분주히 움직인다.
물론, 중국에서는 국가적인 수준의 중앙 집중 정책을 쓰고 있지만, 딥센트는 여전히 컴퓨팅 자원 면에서 열세에 놓여 있다. 전체 처리 능력은 절반 수준이며, 중국은 성능이 떨어지는 다양한 GPU를 많이 사용하므로 효율적인 연결이 쉽지 않아 칩 간 네트워킹 부담이 크다. 칩에 종속된 소프트웨어 차이도 있고, 하드웨어 사양 차이도 있어 훈련 코드는 더 복잡하며 실패 가능성도 높다. 데이터를 입력하는 일이나 집합 통신, 병렬화 알고리즘 등에서 미국 기업들에 뒤처져 있다. 이번에 훔친 에이전트-2는 이런 문제를 해결할 수 있다. 한 달 정도 걸린다. 중국 프로젝트의 가동 시간과 훈련 및 추론 작업량 전반의 평균 자원 활용률은 미국 턱밑까지 추격하는 수준으로 개선된다. (2화에 계속됩니다.)
* 어떤 이야기는 너무 흥미진진해서 길게 들려줄 수밖에 없죠. longread 시리즈는 단편 소설처럼 잘 읽히는 피처 라이팅입니다. 월 1회 발행됩니다.
[1]
[1] 구체적으로는, 기본적인 컴퓨터 작업 OSWorld 벤치마크에서 65퍼센트를 기록할 것으로 예측한다(Operator는 38퍼센트, 숙련됐지만 비전문가인 일반 인간은 70퍼센트).
[2]
[2] 예컨대 코딩 에이전트는 Devin 같은 형태로 진화할 것이다. 2025년 중반 에이전트는 SWEBench-Verified에서 85%를 기록할 것으로 예측한다.
[3]
[3] 예컨대 오픈AI의 프로 플랜은 현재 월 200달러이고, 에이전트형 코딩 AI Devin은 현재 월 500달러다. 최첨단 시스템의 가격은 시간이 갈수록 올라가지만, 고객이 ‘특정 수준의 역량’에 도달하기 위해 지불해야 하는 비용은 계속 급락한다. 기존 역량에 대해서는 평균적으로 연 50배 속도(Epoch 기준)로 일어난다.
[4]
[4] Glean 같은 엔터프라이즈 도구도 점점 더 자율적인 AI 에이전트 제공으로 이동한다.
[5]
[5] 이 클러스터는 전국에 걸쳐 펼쳐진 데이터센터 캠퍼스 네트워크로, 총합 250만(2024년 GPU 환산치, H100 기준)에 해당한다. 현재까지 1000억 달러를 투입했고, 가동 중인 전력 소모는 2GW다. 2026년까지 적어도 두 배로 늘리기 위한 공사가 진행 중이다. 캠퍼스들은 수십억 달러 규모의 광케이블로 연결돼 있어(빛의 속도 한계로 인한 수 밀리초 지연은 제외하면) 거의 서로 옆에 있는 것처럼 작동한다(즉, 대역폭이 병목이 아니므로 거대한 데이터도 동시에 전송 가능하다). 보안 관점에서는 위협을 증가시킨다(케이블, 특히 접속 지점이 도청자에게서 완전히 안전한지는 불분명하다).
[6]
[6] 중국에서는 딥씨크, 텐센트, 알리바바 등이 강력한 AGI 프로젝트를 보유하고 있다고 본다.
[7]
[7] 이 부분은 대규모 인공 신경망의 내부 작동에 대한 추측을 포함한다. 이런 신경망은 너무 복잡해서 실제로 내부를 들여다보고 “아, 지금 반사에서 목표로 진화했군” 또는 “좋아, 저게 추동 목록이군”이라고 말할 수 없다. 대신 우리는 심리학적인 접근을 해야 한다. 다양한 환경에서 AI의 행동을 관찰하고 여러 실험을 돌린 뒤, 단서를 모아 맞춰 보는 식이다. 그리고 이는 몹시 논쟁적이고 혼란스럽다.
[8]
[8] 기업마다 명칭이 다르다. 오픈AI는 ‘Spec’, 앤트로픽은 ‘Constitution’이라 부른다.
[9]
[9] 부록 A - 훈련 과정과 LLM 심리학: 우리가 계속 ‘바라건대’라고 말하는 이유
“일반 소프트웨어와 달리, 우리의 모델은 거대한 신경망입니다. 이들의 행동은 광범위한 데이터로부터 학습되며, 명시적으로 프로그래밍되지 않습니다. 완벽한 비유는 아니지만, 이 과정은 일반 프로그래밍보다는 개를 훈련하는 것에 더 가깝습니다.” —오픈AI
우리는 최신 AI 시스템이 어떤 일을 한 이유나 우리가 완벽하게 시뮬레이션할 수 없는 미래 시나리오에서 어떻게 행동할지를 알고 싶어 합니다. 하지만 프로그래머들에게 코드 몇 줄을 훑어보고, 그것들이 어떻게 작동하는지 설명해 달라는 식으로 간단히 요청할 수는 없습니다. 대신, AI에 심리학을 적용해 분석해야 합니다. 즉, 지금까지 관찰된 다양한 사례에서 행동을 관찰한 뒤 이를 바탕으로 AI 모델의 신념이나 목표, 성격 특성 등의 내부 인지 구조가 어떤 방식으로 존재하는지를 이론화하는 겁니다. 그래서 미래 시나리오에서 AI 모델이 어떻게 작동할지를 예측합니다.
결론적으로, 기업이 해야 할 일과 하지 말아야 할 일, 목표와 원칙을 나열한 스펙을 작성할 수 있고, AI가 그 사양을 내면화하도록 훈련시키려고 시도할 수는 있습니다. 하지만 그것이 실제로 작동했는지는 확인할 수 없습니다. 그저, 우리가 판단할 수 있는 한, ‘지금까지는 스펙을 잘 따르고 있는 것으로 보인다’고 이야기할 수 있을 뿐입니다.
다른 목적을 위해 일시적으로만 스펙을 따르고 있거나, 스펙대로 행동하는 것처럼 연기하고 있거나, 탈옥 프롬프트 등 예외적인 상황에서는 다른 방식으로 행동하기 시작할 수도 있다는 가설이 존재하는 겁니다. 이와 같은 상황을 개선하기 위해 여러 연구 주제가 논의되고 있습니다. 해석 가능성(interpretability), 연쇄적 사고(chain-of-thought)에서 충실성(faithfulness) 분야 등입니다.
“일반 소프트웨어와 달리, 우리의 모델은 거대한 신경망입니다. 이들의 행동은 광범위한 데이터로부터 학습되며, 명시적으로 프로그래밍되지 않습니다. 완벽한 비유는 아니지만, 이 과정은 일반 프로그래밍보다는 개를 훈련하는 것에 더 가깝습니다.” —오픈AI
우리는 최신 AI 시스템이 어떤 일을 한 이유나 우리가 완벽하게 시뮬레이션할 수 없는 미래 시나리오에서 어떻게 행동할지를 알고 싶어 합니다. 하지만 프로그래머들에게 코드 몇 줄을 훑어보고, 그것들이 어떻게 작동하는지 설명해 달라는 식으로 간단히 요청할 수는 없습니다. 대신, AI에 심리학을 적용해 분석해야 합니다. 즉, 지금까지 관찰된 다양한 사례에서 행동을 관찰한 뒤 이를 바탕으로 AI 모델의 신념이나 목표, 성격 특성 등의 내부 인지 구조가 어떤 방식으로 존재하는지를 이론화하는 겁니다. 그래서 미래 시나리오에서 AI 모델이 어떻게 작동할지를 예측합니다.
결론적으로, 기업이 해야 할 일과 하지 말아야 할 일, 목표와 원칙을 나열한 스펙을 작성할 수 있고, AI가 그 사양을 내면화하도록 훈련시키려고 시도할 수는 있습니다. 하지만 그것이 실제로 작동했는지는 확인할 수 없습니다. 그저, 우리가 판단할 수 있는 한, ‘지금까지는 스펙을 잘 따르고 있는 것으로 보인다’고 이야기할 수 있을 뿐입니다.
다른 목적을 위해 일시적으로만 스펙을 따르고 있거나, 스펙대로 행동하는 것처럼 연기하고 있거나, 탈옥 프롬프트 등 예외적인 상황에서는 다른 방식으로 행동하기 시작할 수도 있다는 가설이 존재하는 겁니다. 이와 같은 상황을 개선하기 위해 여러 연구 주제가 논의되고 있습니다. 해석 가능성(interpretability), 연쇄적 사고(chain-of-thought)에서 충실성(faithfulness) 분야 등입니다.
[10]
[10] 부록 B - AI R&D 발전 승수: '알고리즘 발전 속도 50% 향상'은 무엇을 의미하는가?
오픈브레인이 AI를 활용하여 1주일 동안 달성하는 AI 연구 성과가, AI를 사용하지 않았을 때 열흘 동안 달성할 수 있는 성과와 같다는 뜻입니다. AI의 진보는 두 가지 구성 요소로 나눌 수 있습니다.
1) 연산(compute) 증가: 더 많은 계산 자원을 AI를 학습시키거나 실행하는 데 투입합니다. 그 결과 더 강력한 AI를 만들어내지만, 비용이 더 많이 듭니다.
2) 알고리즘 개선: 연산 자원을 성능으로 변환하기 위해 발전된 학습 방법을 사용합니다. 그 결과 비용을 늘리지 않고도 더 유능한 AI를 만들 수 있습니다. 동일한 역량을 더 낮은 비용으로 달성할 수도 있습니다.
알고리즘 개선에는 질적으로도, 양적으로도 새로운 성과를 달성하는 일이 포함됩니다. 게임을 수행하는 강화학습(RL) 에이전트에서 거대 언어 모델(LLM)로의 전환과 같은 ‘패러다임의 전환’도 알고리즘 개선의 사례에 해당합니다. 여기서 우리는 현재 AI 발전의 약 절반을 차지하는 두 번째 항목, 즉 알고리즘의 개선만을 언급하고 있습니다.
앞으로는 ‘AI R&D 발전 승수(multiplier) 1.5’라고 줄여서 적겠습니다.
보충 설명:
1)발전 승수는 모든 과정을 포함합니다: 여기에는 알고리즘 연구와 관련된 인지적 과업뿐만 아니라, 실험을 실행하는 데 걸리는 시간 등도 포함됩니다.
2)발전 승수는 상대적인 발전 속도임을 기억하세요: 예를 들어, 일반적인 인간의 연구를 통해 GPT-4급 모델을 학습시키는 데 드는 연산 비용이 수년 동안 매년 절반으로 줄어들었다고 가정해 봅시다. 그런데 갑자기 AI가 연구 개발을 자동화하여 발전 승수가 100배가 된다면, GPT-4급 모델 학습 비용은 3.65일마다 절반으로 줄어들게 될 것입니다. 하지만 수익 체감의 법칙(diminishing returns)이 작동하고 물리적 한계에 도달하게 되므로 이런 현상이 오래 지속되지는 않습니다. 이 예시에서 GPT-4급 모델 학습 비용은 정체기에 도달하기 전까지 수 주 또는 수개월의 기간에 걸쳐 총 5~10회 정도 절반으로 줄어들 수 있을 것입니다. 즉, 일반적인 인간의 과학 연구가 5~10년의 추가 연구 끝에 수확 체감과 물리적 한계에 부딪혔을 것이라면, 100배 승수를 가진 AI는 18.25일에서 36.5일의 연구 끝에 동일한 수익 체감과 한계에 도달하게 될 것입니다.
오픈브레인이 AI를 활용하여 1주일 동안 달성하는 AI 연구 성과가, AI를 사용하지 않았을 때 열흘 동안 달성할 수 있는 성과와 같다는 뜻입니다. AI의 진보는 두 가지 구성 요소로 나눌 수 있습니다.
1) 연산(compute) 증가: 더 많은 계산 자원을 AI를 학습시키거나 실행하는 데 투입합니다. 그 결과 더 강력한 AI를 만들어내지만, 비용이 더 많이 듭니다.
2) 알고리즘 개선: 연산 자원을 성능으로 변환하기 위해 발전된 학습 방법을 사용합니다. 그 결과 비용을 늘리지 않고도 더 유능한 AI를 만들 수 있습니다. 동일한 역량을 더 낮은 비용으로 달성할 수도 있습니다.
알고리즘 개선에는 질적으로도, 양적으로도 새로운 성과를 달성하는 일이 포함됩니다. 게임을 수행하는 강화학습(RL) 에이전트에서 거대 언어 모델(LLM)로의 전환과 같은 ‘패러다임의 전환’도 알고리즘 개선의 사례에 해당합니다. 여기서 우리는 현재 AI 발전의 약 절반을 차지하는 두 번째 항목, 즉 알고리즘의 개선만을 언급하고 있습니다.
앞으로는 ‘AI R&D 발전 승수(multiplier) 1.5’라고 줄여서 적겠습니다.
보충 설명:
1)발전 승수는 모든 과정을 포함합니다: 여기에는 알고리즘 연구와 관련된 인지적 과업뿐만 아니라, 실험을 실행하는 데 걸리는 시간 등도 포함됩니다.
2)발전 승수는 상대적인 발전 속도임을 기억하세요: 예를 들어, 일반적인 인간의 연구를 통해 GPT-4급 모델을 학습시키는 데 드는 연산 비용이 수년 동안 매년 절반으로 줄어들었다고 가정해 봅시다. 그런데 갑자기 AI가 연구 개발을 자동화하여 발전 승수가 100배가 된다면, GPT-4급 모델 학습 비용은 3.65일마다 절반으로 줄어들게 될 것입니다. 하지만 수익 체감의 법칙(diminishing returns)이 작동하고 물리적 한계에 도달하게 되므로 이런 현상이 오래 지속되지는 않습니다. 이 예시에서 GPT-4급 모델 학습 비용은 정체기에 도달하기 전까지 수 주 또는 수개월의 기간에 걸쳐 총 5~10회 정도 절반으로 줄어들 수 있을 것입니다. 즉, 일반적인 인간의 과학 연구가 5~10년의 추가 연구 끝에 수확 체감과 물리적 한계에 부딪혔을 것이라면, 100배 승수를 가진 AI는 18.25일에서 36.5일의 연구 끝에 동일한 수익 체감과 한계에 도달하게 될 것입니다.
[11]
[11] 구체적으로, OSWorld에서 80퍼센트(숙련된 비전문가 인간 수준), Cybench에서 85퍼센트(4시간짜리 해킹 과제에서 최상위 프로팀과 동급), RE-Bench에서 1.3(8시간 동안의 잘 정의된 AI 연구 엔지니어링 과제에서 최상위 전문가 인간과 동급)을 예측한다.
[12]
[12] 현재 중국에는 H100e 칩으로 환산했을 때 약 300만 개 수준의 칩이 있다. 2025년 중반의 150만 개에서 증가한 수치다. 또한 이 시나리오는 중국이 밀수를 통해 GB300 약 6만 개(=H100e 45만 개)를 확보하고, 화웨이 910C 200만 개(=H100e 80만 개)를 생산하며, 합법적으로 수입한 칩(예: Nvidia H20 또는 B20 등) 100만 개가 나머지 H100e 25만 개를 채운다고 본다.
[13]
[13] 부록 C - 2026년 이후에 우리의 불확실성이 실질적으로 증가하는 이유
현재 시점부터 2026년까지의 예측은 그 이후에 이어지는 내용보다 훨씬 더 확고한 근거를 가지고 있습니다. 이는 부분적으로 해당 시기가 더 가깝기 때문이기도 하지만, 2027년부터 AI가 세상에 미치는 영향이 실제로 복합적으로 작용하기 시작하기 때문이기도 합니다. 2025년과 2026년의 경우, 우리의 예측은 연산 규모 확장, 알고리즘 개선, 그리고 벤치마크 성능에 대한 직선적인 외삽에 크게 기반하고 있습니다. 그런데 시나리오가 이 지점에 이르면, AI의 누적된 영향이 가속화한 AI 연구 개발이 타임라인에 큰 영향을 주기 시작합니다. 결국, 기존 추세선에 대한 우리의 예측치를 상향 조정하게 됩니다. 하지만 이러한 역학 관계는 본질적으로 예측하기가 훨씬 더 어렵습니다.
2027년 한 해 동안, AI는 오픈브레인 연구 엔지니어의 업무를 대부분 수행할 수 있는 수준에서 출발해, 모든 과제에서 모든 인간을 압도하는 수준으로까지 발전합니다. 이는 대략적인 우리의 중간값 추정치(median guess)에 해당하지만, 이러한 정개가 최대 5배 정도 느리거나 혹은 빠르게 일어날 가능성도 충분하다고 생각합니다.
현재 시점부터 2026년까지의 예측은 그 이후에 이어지는 내용보다 훨씬 더 확고한 근거를 가지고 있습니다. 이는 부분적으로 해당 시기가 더 가깝기 때문이기도 하지만, 2027년부터 AI가 세상에 미치는 영향이 실제로 복합적으로 작용하기 시작하기 때문이기도 합니다. 2025년과 2026년의 경우, 우리의 예측은 연산 규모 확장, 알고리즘 개선, 그리고 벤치마크 성능에 대한 직선적인 외삽에 크게 기반하고 있습니다. 그런데 시나리오가 이 지점에 이르면, AI의 누적된 영향이 가속화한 AI 연구 개발이 타임라인에 큰 영향을 주기 시작합니다. 결국, 기존 추세선에 대한 우리의 예측치를 상향 조정하게 됩니다. 하지만 이러한 역학 관계는 본질적으로 예측하기가 훨씬 더 어렵습니다.
2027년 한 해 동안, AI는 오픈브레인 연구 엔지니어의 업무를 대부분 수행할 수 있는 수준에서 출발해, 모든 과제에서 모든 인간을 압도하는 수준으로까지 발전합니다. 이는 대략적인 우리의 중간값 추정치(median guess)에 해당하지만, 이러한 정개가 최대 5배 정도 느리거나 혹은 빠르게 일어날 가능성도 충분하다고 생각합니다.
[14]
[14] 정규직 환산 2만 명 × 시급 100달러 × 연 2000시간 = 연 40억 달러
[15]
[15] AI 시스템이 이미 어느 정도 기본적인 연구 감각을 지니고 있다는 증거가 있다. 예를 들어 AI 공동 과학자에 관한 논문과 LLM 중심 연구 논문을 위한 새로운 아이디어 생성에 관한 논문 등이 발표되어 있다. 더 나은 감각을 가진 연구팀은 여전히 실험을 실행해야 하지만, 어떤 실험을 실행할지, 결과에서 어떤 교훈을 도출할지 더 나은 선택을 한다.
[16]
[16] 부록 D - 에이전트-2 모델 가중치 탈취
이 시점에 이르면 중국 정보기관이 수년 동안 다양한 방식으로 오픈브레인을 이미 해킹해 왔을 겁니다. 알고리즘 기밀을 꾸준히 파악하고 때에 따라서는 코드를 훔치기도 했을 것입니다. 코드는 가중치보다 확보하기 훨씬 쉽고 탐지하기는 훨씬 어렵기 때문입니다.
우리는 가중치 탈취가 여러 서버에 분산되어 저장 및 운영되는 에이전트-2 가중치 사본을 상대로 한 조정된 소규모 급습을 통해 이루어질 것으로 봤습니다. 대상은 엔비디아 NVL72 GB300 서버들입니다. 속도는 빠르지만 은폐하지는 않는 방식입니다. 서버는 합법적인 직원의 액세스 권한(중국 공산당의 탈취 작업을 돕는 우호적이거나, 강요받았거나, 혹은 자신도 모르게 이용당하는 관리자 자격 증명을 가진 내부자)을 통해 해킹됩니다. 내부자 자격 증명은 공격자에게 서버에 대한 관리자 수준의 권한을 부여합니다. 공격자는 기밀 연산 및 암호화된 실행 환경의 취약점을 악용해, 보호된 환경에서 사용되는 암호화 관련 비밀 값을 탈취하고, 그 결과 모델 가중치가 배포 및 갱신되는 과정에서 이를 가로채거나 유출할 수 있게 됩니다.
공격자는 정기적인 업데이트가 수행되는 시점을 이용하거나 이를 유도해, 체크포인트를 여러 개의 작은 파편으로 나누어 유출합니다. 예를 들어 약 25대의 개별 서버가 모델의 약 4퍼센트씩(약 2.5TB 크기의 반정밀도[half-precision] 체크포인트 기준 약 100GB 덩어리)을 유출하는 방식입니다. 데이터센터 전체의 외부 송출 대역폭(egress bandwidth)은 초당 100GB 범위이므로, 서버당 초당 1GB 미만으로 속도를 제한하면 네트워크 트래픽의 급격한 급증을 피할 수 있습니다. 이 속도라면 각 100GB 덩어리는 몇 분 안에 데이터센터를 빠져나갈 수 있습니다. 실시간 모니터링 체계는 전송을 마스킹하고 분할하려는 공격자의 노력에 속아 넘어가거나 아예 비활성화됩니다.
탈취된 가중치는 다양한 병렬 채널과 여러 층의 IP 마스킹을 거쳐 중국으로 전달되며, 탈취한 세션 키를 사용하여 현지에서 복호화됩니다. 첫 서버 침해부터 전체 가중치 유출까지, 작전의 모든 활성 단계는 2시간 이내에 완료됩니다.
러시아 역시 비슷한 시기에 모델 탈취를 시도하지만 실패합니다. 그들은 너무 오래 기다렸고, 적절한 장소에 침투하기 위한 자원을 투입하지 않았기 때문입니다. 러시아 스파이들은 미국 AI 기업들로부터 정기적으로 알고리즘 기밀을 훔치지만, 자체적으로 주목할 만한 AGI 프로젝트가 없기에 이러한 정보들은 그리 유용하지 않습니다.
이 시점에 이르면 중국 정보기관이 수년 동안 다양한 방식으로 오픈브레인을 이미 해킹해 왔을 겁니다. 알고리즘 기밀을 꾸준히 파악하고 때에 따라서는 코드를 훔치기도 했을 것입니다. 코드는 가중치보다 확보하기 훨씬 쉽고 탐지하기는 훨씬 어렵기 때문입니다.
우리는 가중치 탈취가 여러 서버에 분산되어 저장 및 운영되는 에이전트-2 가중치 사본을 상대로 한 조정된 소규모 급습을 통해 이루어질 것으로 봤습니다. 대상은 엔비디아 NVL72 GB300 서버들입니다. 속도는 빠르지만 은폐하지는 않는 방식입니다. 서버는 합법적인 직원의 액세스 권한(중국 공산당의 탈취 작업을 돕는 우호적이거나, 강요받았거나, 혹은 자신도 모르게 이용당하는 관리자 자격 증명을 가진 내부자)을 통해 해킹됩니다. 내부자 자격 증명은 공격자에게 서버에 대한 관리자 수준의 권한을 부여합니다. 공격자는 기밀 연산 및 암호화된 실행 환경의 취약점을 악용해, 보호된 환경에서 사용되는 암호화 관련 비밀 값을 탈취하고, 그 결과 모델 가중치가 배포 및 갱신되는 과정에서 이를 가로채거나 유출할 수 있게 됩니다.
공격자는 정기적인 업데이트가 수행되는 시점을 이용하거나 이를 유도해, 체크포인트를 여러 개의 작은 파편으로 나누어 유출합니다. 예를 들어 약 25대의 개별 서버가 모델의 약 4퍼센트씩(약 2.5TB 크기의 반정밀도[half-precision] 체크포인트 기준 약 100GB 덩어리)을 유출하는 방식입니다. 데이터센터 전체의 외부 송출 대역폭(egress bandwidth)은 초당 100GB 범위이므로, 서버당 초당 1GB 미만으로 속도를 제한하면 네트워크 트래픽의 급격한 급증을 피할 수 있습니다. 이 속도라면 각 100GB 덩어리는 몇 분 안에 데이터센터를 빠져나갈 수 있습니다. 실시간 모니터링 체계는 전송을 마스킹하고 분할하려는 공격자의 노력에 속아 넘어가거나 아예 비활성화됩니다.
탈취된 가중치는 다양한 병렬 채널과 여러 층의 IP 마스킹을 거쳐 중국으로 전달되며, 탈취한 세션 키를 사용하여 현지에서 복호화됩니다. 첫 서버 침해부터 전체 가중치 유출까지, 작전의 모든 활성 단계는 2시간 이내에 완료됩니다.
러시아 역시 비슷한 시기에 모델 탈취를 시도하지만 실패합니다. 그들은 너무 오래 기다렸고, 적절한 장소에 침투하기 위한 자원을 투입하지 않았기 때문입니다. 러시아 스파이들은 미국 AI 기업들로부터 정기적으로 알고리즘 기밀을 훔치지만, 자체적으로 주목할 만한 AGI 프로젝트가 없기에 이러한 정보들은 그리 유용하지 않습니다.
Close