‘AI won’t save us’ 시리즈를 시작합니다. 매주 금요일 오후 5시에 발행합니다. 우리는 지금 반세기마다 다가오는 완전히 새로운 변화를 목격하고 있습니다. 디지털 혁명보다 더 크고 더 강력한 혁명이 오고 있습니다. 바로 AI입니다. 디지털 대량 생산은 물질 대량 생산처럼 인간의 삶을 근본적으로 변화시킬 것입니다. ‘AI won’t save us’ 시리즈는 AI가 가져올 경제, 사회, 문화 변화의 징후를 포착합니다. 이번 에피소드에서는 AI 규제를 바라보는 다양한 시각에 관해 이야기합니다.
 

변화와 징후

변화: 미국 캘리포니아에서 AI 규제법이 곧 통과된다. 오픈AI를 비롯한 개발사들은 강하게 반발하고 나섰다.

징후: 권력은 기술을 포섭하고자 한다. AI는 면죄부를 원한다. 어느 쪽이 승리하든 AI 독점을 피하기는 어렵다.

기술의 선악에 관한 고찰

2024년, 인류를 위협하는 존재는 무엇일까. 여러 가지 기준이 있을 수 있다. 미국 핵과학자회(BAS)가 매년 발표하는 둠스데이 클락(Doomsday Clock)에 따르면 우리는 지금 23시 58분 30초에 있다. 자정까지, 그러니까 지구 멸망까지는 90초 남았다. 핵 과학자들이 재는 멸망의 시간이므로, BAS가 꼽는 첫 번째 위협은 핵무기다. 그 뒤를 기후 위기, 생명 과학 기술, 그리고 AI가 잇는다. 생성형 AI의 발전은 빛을 내기도 하지만 그림자도 드리운다. 허위 정보를 확산해 정치를 흔들고 핵 위험이나 전염병, 기후 위기에 제대로 대응할 수 없도록 한다. 게다가 AI가 핵무기를 발사할지 결정하게 된다면, 생명 공학을 이용해 위험한 바이러스를 퍼뜨리고자 하는 악인이 AI를 사용하게 된다면, 전 인류의 생존이 위협당할 수 있다.

방사능을, 핵분열을, 상대성 이론을 차례로 발견하고 풀어내면서 과학자들은 무한한 성취감을 맛보았을 것이다. 그러나 그 성취가 핵전쟁의 위협으로 이어졌다. 나가사키와 히로시마에 원자 폭탄이 투하되는 것을 보며 아인슈타인은 한탄한다. 이런 사태를 예견했다면 1905년에 자신이 발견한 상대성 이론을 찢어버렸을 것이라며 말이다. 하지만 아인슈타인의 한탄에 모두가 동의하는 것은 아니다. 그는 자신의 과학적 업적이 문명 파괴적 힘을 지닌 무기가 될 줄은 몰랐다. 무기를 만들어 사용하겠다는 결정을 하고 행동에 옮긴 이들은 따로 있다는 얘기다. 그렇다면 우리는 질문하게 된다. 범죄자가 날카로운 칼을 이용해 사람을 해쳤다면, 칼을 만든 장인에게 책임을 물어야 할까, 범죄자에게 책임을 물어야 할까. 상식선의 간단한 질문이다.

독일의 실존주의 철학자, 칼 야스퍼스는 ‘기술은 목표 지향적이지 않으므로 선과 악을 초월해 있다’고 말한다. 칼을 만든 장인에게 책임이 없듯, 과학은 인류의 행복과 불행에 책임이 없다는 얘기다. 그런데 칼을 만드는 사람에게도 책임을 물을 수 있어야 한다는 법이 통과를 앞두고 있다. 캘리포니아의 SB-1047 법이다. 칼에 안전장치를 달고, 문제가 없는지 꾸준히 보고하며 잘못 사용되어 피해가 발생하였다면 만든 사람이 책임을 져야 한다는 법이다. 물론, 칼 얘기가 아니라 AI 얘기다. 실리콘밸리가 웅성이고 있다.

빅테크가 가장 경계하는 규제

SB-1047 법안의 정식 명칭은 ‘프론티어 AI 시스템 안전·보안 혁신법(Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act)’이다. 지난 15일 캘리포니아주 상원에서 통과되었고 이달 말 하원 통과를 앞두고 있다. 연방정부의 법이 아니라 캘리포니아의 주법이지만, 오히려 강력하다. 유럽연합(EU)의 ‘AI 법(AI ACT)’은 어디까지나 EU 회원국에서 효력이 인정되는 법이다. 최악의 경우라도 유럽에 서비스를 제공할 경우에 제약이 생긴다. 이 때문에 오히려 유럽을 AI 갈라파고스로 만들 수 있다는 얘기까지 일각에서는 나올 정도다. 바이든 행정부의 ‘AI 행정명령’은 기업이 AI 개발 과정에서 미국 표준 기술 연구소(NIST)에서 실시하는 AI 안전 테스트를 시행하고, 그 결과와 개발 과정에서의 민감 정보를 정부에 보고하도록 하는 내용 등이 담겼다 자율 규제에 무게를 실어 왔던 미국이 안보를 이유로 규제의 틀을 마련한 것이다. 다만, 이 행정명령의 내용은 오픈AI, 구글 등 프론티어 AI 기업들의 자발적인 공약을 토대로 작성된 것이다. 게다가 규정을 지키지 않았을 경우에 어떻게 처벌받는지에 대한 부분도 명확지 않다.

SB-1047 법안은 내용도, 효력도 비교적 명확하다. AI 개발 기업의 책임과 의무, 처벌 조항을 세밀하게 담고 있다. 본사 소재지와 상관없이 캘리포니아주에서 사업을 하는 모든 회사가 적용 대상이다. 즉, 피할 수 없다. 이제 1억 달러 이상의 비용을 들이고, 일정 규모 이상의 컴퓨팅 성능을 사용해 개발한 AI 모델은 다음과 같은 책임을 다해야 한다.

• AI에 의한 ‘재앙적 피해’를 막기 위해 ‘합리적인 주의’를 기울여야 한다. 또, 유사시 모델 작동을 정지하는 ‘킬 스위치’ 또한 도입해야 한다.
• 캘리포니아주 법무장관은 안전하지 않다고 판단되는 AI 모델에 대해 출시 금지 등의 법적 명령을 내릴 수 있다.
• 대량 살상 무기 제작을 위해 AI가 사용되거나 AI를 이용한 사이버 공격 등으로 5억 달러 이상의 피해가 발생할 경우, 개발사가 법적 책임을 져야 한다.
• 이와 같은 위험을 감독하기 위해 ‘프론티어 모델 디비전(FMD)’를 신설한다. AI 산업, 오픈 소스 커뮤니티, 학계의 대표를 포함한 위원회가 구성된다.

전 세계적인 AI 구루, ‘딥러닝의 아버지’로 불리는 제프리 힌턴 토론토대 교수와 요슈아 벤지오 몬트리올대 교수 등은 법안에 찬성한다. 이들은 생성형 AI 기술의 위험성을 꾸준히 경고해 온 인물들이다. 반면, 이 법이 학문의 자유를 침해하는 동시에 아직 초기 단계인 생성형 AI 산업의 발전을 저해할 수 있다는 주장도 나온다. 대표적으로 오픈AI를 꼽을 수 있다. 오픈AI는 SB-1047을 발의한 스콧 위너 캘리포니아주 상원 의원에게 이 법안이 “AI 산업 혁신을 막아 미국 AI 경쟁력과 국가 안보에 광범위하고 심각한 영향을 끼칠 수 있다”는 내용의 서한을 보냈다. 구글과 메타도 우려를 담은 서한을 위너 의원에게 보냈다.

면죄부의 조건

생성형 AI 산업을 이끄는 프론티어 AI 기업들의 반발은 예상 가능한 일이다. 하지만 위너 의원은 ‘말이 다르다’는 입장이다. 메타, 구글, 오픈AI의 CEO들은 지난 2023년 미국 상원 법사위 소위 청문회에 출석해 AI의 위험성을 경고하고 규제 필요성을 역설했다. 당시 오픈AI CEO 샘 올트먼은 AI 개발에 표준 규격을 도입하고, 이를 감시할 독립적 기구를 설립하며, 초거대 AI를 맡을 정부 담당자를 임명해달라고 요청하기까지 했다. 이러한 주장들을 바탕으로 ‘AI 행정명령’이 탄생했다. 그런데 이제는 AI의 안전성을 담보하고 책임을 져야 한다는 SB-1047 법안에는 반대의 목소리를 낸다. 샘 올트먼의, 프론티어 AI 기업들의 속내는 무엇일까.

AI가 위험하니 꼼꼼히 관리하고 엄격한 규정을 준수할 수 있는 ‘우리’가 개발해야 한다는 주장이다. 이미 생성형 AI 산업의 진입 장벽은 높다. 다리오 아모데이 앤트로픽 CEO는 이제 AI 학습 비용이 10만 달러를 넘어선다고 밝힌 바 있다. 규제의 장벽까지 이중으로 세우면 자본과 인력이 부족한 AI 스타트업은 기회 자체를 가질 수 없게 된다. 시장에 이미 진입해 체급이 되는 선수들끼리만 경쟁하고, 시장을 나눠 먹겠다는 것이다. 실제로, 이미 수많은 AI 스타트업은 너무 빠르게 빅테크에 인수되고 있다. 그런데 SB-1047 법안은 1만 달러 이상 체급들이 안전에 신경 쓰고 법적인 책임도 지라는 내용을 명시했다. 말이 다른 것이 아니다. 규제의 목적이 다르다. 물론, SB-1047도 스타트업 입장에서는 부담스럽다. 범용 도구를 개발하면서 이를 사용한 최종 서비스까지 책임을 지려면 대기업 법무팀 정도를 거느리지 않고는 대응이 어렵다.

칼 야스퍼스의 말대로 기술은 선과 악을 모른다. 그래서 미국의 ‘통신품위법 230조’는 유튜브, 틱톡, X, 페이스북 등에 올라오는 유해 콘텐츠의 책임이 플랫폼 관리자가 아닌 게시자에게 있다고 본다. 빅테크들은 이미 법적인 면죄부를 받았다. 그리고 이들은 AI 개발에서도 면죄부를 원한다. 누군가 AI를 사용해 악행을 저지른다 해서 기술을 개발한 주체에게 책임을 묻지 않기를 바라고 있다. 다만, 우리는 1945년의 원자폭탄 투하가 비극이었다는 점을 인정한다. 미국이 승전국이 되지 못했다면, 그 결정을 내린 누군가는 전범으로 처벌받았을지도 모를 일이다. 지금의 AI 기업들은 과학자의 역할과 이윤을 추구하는 기업의 역할을 동시에 수행하고 있다. 총을 개발할 수 있다. 하지만 어린아이가 그 총에 쉽게 접근할 수 있다면 무언가 조치는 필요하다.

사유

이 법안에 신경을 곤두세우고 있는 또 다른 기업은 메타다. 메타는 오픈AI의 챗GPT에 대항할 AI 모델, ‘라마(Llama)’를 오픈 소스로 풀었다. 강력한 오픈 소스 AI 모델은 독점 기업의 손에서 벗어난, 전혀 새로운 AI 생태계를 가능케 한다. 한계는 있지만, 전 세계의 개발자들이 라마를 기반으로 다양한 생성형 AI 서비스를 만들 수 있다는 얘기다. 그런데 그렇게 만들어진 파생 모델이 문제를 일으킬 경우, SB-1047 법안은 메타가 책임을 지도록 한다. 당장 메타의 부사장이자 수석 AI 과학자인 얀 르쿤이 반발하고 나섰다. 앤드류 응 스탠퍼드대 교수도 법안을 ‘오픈 소스에 대한 공격’이라며 비판의 목소리를 냈다. 오픈 소스는 국가 권력의 입장에서 다루기 어렵다. 통제하고 협상할 대상이 불분명해지기 때문이다. 특이점을 돌파해 인간을 넘어설지도 모를 AI에 대한 감시를, 법에만 맡겨둘 수 없는 이유다.