추천 콘텐츠
전쟁에서 컴퓨터의 역할이 커지면서, 인류는 더 큰 위험에 처하고 있다.
미국과 중국, 두 강대국의 경쟁은 철강 수출 쿼터를 둘러싼 충돌부터 학생 비자가 촉발한 갈등까지 수많은 분야에서 벌어지고 있다. 그중에서도 가장 걱정스러우면서도, 가장 덜 알려진 분야는 인공지능(AI)이 투입되는 전쟁을 향해 가는 두 국가의 경쟁이다. 미국과 중국 모두 자율 로봇, 전쟁이 벌어지고 있을 때 신속하게 지휘관에게 전술적 조언을 해줄 수 있는 소프트웨어 등 다양한 군사 분야 AI에 막대한 자금을 투자하고 있다. 중국은 불안해하고 있다. 서구의 기업들이 정교한 전략 게임 분야 등에서 이뤄 낸 획기적인 성공 덕분에 미국이 AI 분야의 우위를 점하고 있다는 이유다. 미국도 불안하기는 마찬가지다. 중국의 지배 권력은 방대한 양의 데이터에 제한 없이 접근할 수 있는 데다 국가 주도의 서비스에 자국 기술 기업들을 활용할 수 있기 때문이다. 두 나라 모두 뒤처지지 않으려 한다. 미국 국방부 AI 분야의 핵심 인물인 잭 섀너한(Jack Shanahan) 국장은 지난달 이렇게 말했다. “우리의 잠재 적국이 AI로 무장한 군대를 보유하고 있는데, 우리는 그렇지 않은 미래는 상상하고 싶지 않다.”
AI 무기는 초인적인 속도와 정확성을 갖추고 있다.(2화 참조) 그러나 힘의 균형을 깨뜨릴 위험성 역시 안고 있다. 군대가 군사적으로 유리한 위치를 점하려는 유혹에 빠진다면, AI는 단순히 결정을 권고하는 수준을 넘어 명령을 내리는 주체로 활용될 가능성도 있다. 이런 상황은 우려할 만한 결과로 이어질 수 있다. 인간보다 더 빨리 생각할 수 있는 AI 명령 시스템은 외교적인 해법을 모색할 시간을 주지 않고, 실무자들이 완전히 이해하지 못하는 방식으로 항공 모함과 공군 기지에 미사일 폭격을 가할 수 있다. 무엇보다 AI 시스템은 해킹당할 수 있고, 조작된 데이터에 속을 수도 있다.
20세기를 지나면서, 세계는 마침내 핵폭탄의 등장으로 인한 군사 기술적 패러다임의 전환을 관리할 방법을 발견했다. 전 세계적 재앙을 피할 수 있었던 이유는 세 가지 전략에 있었다. 바로 핵 억지력, 군축 협정, 그리고 핵 안전장치다. 많은 사람들이 이러한 기존의 전략이 AI에도 적용될 수 있을 것이라고 생각한다. 그러나 불행하게도, 전략의 효용은 제한적이다. AI가 새로운 기술이어서 그런 것만은 아니다.
핵 억지력은 핵폭탄을 사용하면 공격하는 쪽이나 피해를 입는 쪽 모두 재앙을 입게 된다는 컨센서스를 전제로 한다. 그런데 공격의 주체가 AI라면, 핵폭탄의 위협은 덜 끔찍하게 느껴지고, 덜 명확하게 이해된다. AI는 기습을 돕거나, 적을 물리칠 수 있을 것이다. 사망자는 아예 없을 수도 있지만 수백만 명이 될 수도 있다. 마찬가지로, 냉전 시기에 만들어진 군축 협정은 투명성을 기초로 하고 있다. 투명성은 적군에서 무슨 일이 일어나고 있는지 인지하면서 어느 정도의 자신감을 얻는 것이다. 그러나 미사일 격납고와 달리, 소프트웨어는 위성으로 염탐할 수 없다. 핵탄두가 적에게 공개된다고 공격의 잠재력이 떨어지지는 않지만, AI 알고리즘을 외부에 공개하는 것은 효율성을 훼손할 수 있다. 상대를 속이기 위해서 정보를 흘리는 것이라면 모르지만 말이다. “AI가 적용되는 환경에 대한 적의 무지는 아군의 전략적인 우위로 이어질 것이다.” 냉전 시기 미국과 소련의 군축 협정을 이끈 헨리 키신저(Henry Kissinger)의 말이다.
이제 마지막 제어 수단인 안전장치만 남았다. 핵무기는 사고 위험이 높은 복잡한 시스템을 탑재하고 있다. 군사적 절차는 핵무기가 공식적인 승인 없이는 사용될 수 없다는 점을 보장하는 방향으로 발전되어 왔다. 예를 들어, 핵폭탄이 목표보다 이른 시점에 낙하했을 때 폭발하지 않게 만드는 안전장치 같은 것이다. 유사한 장치가 AI 시스템에 적용되는 방안에는 좀 더 많은 고려가 필요하다. 특히 AI가 혼란스럽고, 한 치 앞도 내다보기 어려운 전쟁터 전역에서 군대를 조직하는 임무를 맡았을 때는 더욱 그렇다.
반드시 따라야 할 원칙은 분명하다. AI는 공정성을 비롯한 인간의 가치를 반영해야 할 것이다. 그리고 속임수를 쓰는 상대를 이겨 낼 수 있는 역량을 갖춰야 한다. 가장 중요한 것은 안전이다. AI 무기는 인간이 이해할 수 있는 수준으로, 최대한 상세하게, 결정을 내린 과정을 설명할 수 있어야 할 것이다. 많은 서구 기업들은 자율 주행차와 안면 인식 소프트웨어 등에 활용하기 위한 상업적 목적으로 AI를 개발하고 있다. 이들은 이미 AI 시스템이 위와 같은 조건을 갖추고 있는지를 확인하기 위한 실험을 진행하고 있다. 속임이 일상이고 속도는 광속인 군사 영역에서 위험 부담은 훨씬 더 크다. 대립하고 있는 두 강대국은 눈앞에 놓인 이익을 좇다 절차와 원칙을 무시해도 괜찮다는 유혹에 빠질 수 있다. 이러한 위험성이 진지하게 받아들여지고 있는지 확인할 수 있는 신호는 거의 없다. 미 국방부의 AI센터가 윤리학자를 고용한 것 정도다. 전쟁을 컴퓨터에 맡기는 일은 세계를 더 위험한 곳으로 만들 것이다.
AI 무기는 초인적인 속도와 정확성을 갖추고 있다.(2화 참조) 그러나 힘의 균형을 깨뜨릴 위험성 역시 안고 있다. 군대가 군사적으로 유리한 위치를 점하려는 유혹에 빠진다면, AI는 단순히 결정을 권고하는 수준을 넘어 명령을 내리는 주체로 활용될 가능성도 있다. 이런 상황은 우려할 만한 결과로 이어질 수 있다. 인간보다 더 빨리 생각할 수 있는 AI 명령 시스템은 외교적인 해법을 모색할 시간을 주지 않고, 실무자들이 완전히 이해하지 못하는 방식으로 항공 모함과 공군 기지에 미사일 폭격을 가할 수 있다. 무엇보다 AI 시스템은 해킹당할 수 있고, 조작된 데이터에 속을 수도 있다.
20세기를 지나면서, 세계는 마침내 핵폭탄의 등장으로 인한 군사 기술적 패러다임의 전환을 관리할 방법을 발견했다. 전 세계적 재앙을 피할 수 있었던 이유는 세 가지 전략에 있었다. 바로 핵 억지력, 군축 협정, 그리고 핵 안전장치다. 많은 사람들이 이러한 기존의 전략이 AI에도 적용될 수 있을 것이라고 생각한다. 그러나 불행하게도, 전략의 효용은 제한적이다. AI가 새로운 기술이어서 그런 것만은 아니다.
핵 억지력은 핵폭탄을 사용하면 공격하는 쪽이나 피해를 입는 쪽 모두 재앙을 입게 된다는 컨센서스를 전제로 한다. 그런데 공격의 주체가 AI라면, 핵폭탄의 위협은 덜 끔찍하게 느껴지고, 덜 명확하게 이해된다. AI는 기습을 돕거나, 적을 물리칠 수 있을 것이다. 사망자는 아예 없을 수도 있지만 수백만 명이 될 수도 있다. 마찬가지로, 냉전 시기에 만들어진 군축 협정은 투명성을 기초로 하고 있다. 투명성은 적군에서 무슨 일이 일어나고 있는지 인지하면서 어느 정도의 자신감을 얻는 것이다. 그러나 미사일 격납고와 달리, 소프트웨어는 위성으로 염탐할 수 없다. 핵탄두가 적에게 공개된다고 공격의 잠재력이 떨어지지는 않지만, AI 알고리즘을 외부에 공개하는 것은 효율성을 훼손할 수 있다. 상대를 속이기 위해서 정보를 흘리는 것이라면 모르지만 말이다. “AI가 적용되는 환경에 대한 적의 무지는 아군의 전략적인 우위로 이어질 것이다.” 냉전 시기 미국과 소련의 군축 협정을 이끈 헨리 키신저(Henry Kissinger)의 말이다.
이제 마지막 제어 수단인 안전장치만 남았다. 핵무기는 사고 위험이 높은 복잡한 시스템을 탑재하고 있다. 군사적 절차는 핵무기가 공식적인 승인 없이는 사용될 수 없다는 점을 보장하는 방향으로 발전되어 왔다. 예를 들어, 핵폭탄이 목표보다 이른 시점에 낙하했을 때 폭발하지 않게 만드는 안전장치 같은 것이다. 유사한 장치가 AI 시스템에 적용되는 방안에는 좀 더 많은 고려가 필요하다. 특히 AI가 혼란스럽고, 한 치 앞도 내다보기 어려운 전쟁터 전역에서 군대를 조직하는 임무를 맡았을 때는 더욱 그렇다.
반드시 따라야 할 원칙은 분명하다. AI는 공정성을 비롯한 인간의 가치를 반영해야 할 것이다. 그리고 속임수를 쓰는 상대를 이겨 낼 수 있는 역량을 갖춰야 한다. 가장 중요한 것은 안전이다. AI 무기는 인간이 이해할 수 있는 수준으로, 최대한 상세하게, 결정을 내린 과정을 설명할 수 있어야 할 것이다. 많은 서구 기업들은 자율 주행차와 안면 인식 소프트웨어 등에 활용하기 위한 상업적 목적으로 AI를 개발하고 있다. 이들은 이미 AI 시스템이 위와 같은 조건을 갖추고 있는지를 확인하기 위한 실험을 진행하고 있다. 속임이 일상이고 속도는 광속인 군사 영역에서 위험 부담은 훨씬 더 크다. 대립하고 있는 두 강대국은 눈앞에 놓인 이익을 좇다 절차와 원칙을 무시해도 괜찮다는 유혹에 빠질 수 있다. 이러한 위험성이 진지하게 받아들여지고 있는지 확인할 수 있는 신호는 거의 없다. 미 국방부의 AI센터가 윤리학자를 고용한 것 정도다. 전쟁을 컴퓨터에 맡기는 일은 세계를 더 위험한 곳으로 만들 것이다.