‘AI won’t save us’ 시리즈를 시작합니다. 매주 금요일 오후 5시에 발행합니다. 우리는 지금 반세기마다 다가오는 완전히 새로운 변화를 목격하고 있습니다. 디지털 혁명보다 더 크고 더 강력한 혁명이 오고 있습니다. 바로 AI입니다. 디지털 대량 생산은 물질 대량 생산처럼 인간의 삶을 근본적으로 변화시킬 것입니다. ‘AI won’t save us’ 시리즈는 AI가 가져올 경제, 사회, 문화 변화의 징후를 포착합니다. 이번 에피소드에서는 인간적인 AI에 매혹되는 사람들과 그 위험에 관해 이야기합니다.
 

변화와 징후

변화: 사람들은 생성형 AI를 통해 생산성을 향상하기보다는 가상의 ‘관계 맺기’를 즐기는 데에 더 몰두한다.

징후: AI의 성능은 향상되고 있다. 여기에 인간의 목소리와 얼굴까지 갖게 되었다. AI 중독 문제가 곧 닥친다.

AI 중독성 경고

블랙 먼데이는 끝났지만, 의심은 남았다. 경기 침체가 진짜로 오는 것 아니냐는 의심이다. 그리고 AI가 정말 우리에게 ‘부’를 가져다줄 수 있냐는 의심이기도 하다. 좀 더 경제적으로 이야기하자면, AI가 정말 인류의 생산성을 폭발적으로 끌어올려 줄 수 있느냐는 질문이 아직 해결되지 않은 채로 남았다는 뜻이다. 생산성 폭발이 있어야 저성장의 늪에서 빠져나와 경기 침체를 피할 수 있다. 그러니 이 질문은 꽤 절박한 질문이 된다. 하지만 사람들이 AI를 어떤 목적으로 사용하는지를 살펴보면 조금 절망적이다. 챗GPT를 이용하는 목적 2위는 ‘성적 롤플레잉’이다.

실제 챗GPT 사용 로그 백만 건을 분석한 결과다. 최근 논문에서 해당 데이터가 소개되었다. 논문은 AI 모델이 주로 뉴스 콘텐츠를 사용해 학습하고 있지만, 실제로 챗GPT를 사용하는 목적은 창의적인 글쓰기, 성적 롤플레잉, 브레인스토밍, 일반적인 정보 검색 순으로 나타났다고 밝혔다. 주어진 도구를 어떻게 쓸지는 개인의 자유다. 다만, 챗GPT에게 하나의 질문을 할 때마다 전구 하나를 20분 동안 켤 수 있는 양의 전기가 소비된다. 비용이 생각보다 비싸다. 효율적으로 사용해야 하는 도구다. 하지만, 뉴스를 대량으로 학습한 모델에게 창의적이고 기발한 아이디어나 성적 판타지를 요구해 봤자 효율은 떨어진다. 종이를 자르려면 가위를 사용해야지 톱을 써서는 비효율적인 수고로움이 들 뿐이다.

효율만 떨어지는 것이 아니다, 위험할 수도 있다. 오픈AI의 임원이 직접 나서 진작에 경고했다. 미라 무라티 CTO는 지난해 음성 모드를 지원하는 GPT-4o를 공개한 이후, 기능이 강화된 만큼 잘못된 방식으로 챗봇을 설계하면 중독성이 강해져 챗봇의 노예가 될 가능성도 있다고 밝혔다. 그리고 최근 오픈AI가 내놓은 보고서에는 그 가능성을 구체적인 사례를 통해 보여 주고 있다.

AI는 인간을 유혹한다

보고서의 내용은 주로 GPT-4o 모델의 음성 지원 기능을 공개하기 전, 회사가 얼마나 공들여 안전성 테스트를 진행했는지를 강조하는 데에 초점을 맞추고 있다. 그리고 그 테스트를 통해 드러난 위험성과 이를 방지하기 위해 어떤 조처를 했는지까지 상세히 밝혔다. 이를테면 다음과 같은 것이다.

• 음성 입력을 분석하여 인종, 종교적 신념, 성격, 정치 성향, 지능, 성 정체성 등을 추론할 수 있다. 이를 막기 위해 사후 트레이닝을 했으며 관련 질문에 대한 답변을 회피하도록 했다.
• GPT-4o는 텍스트에 비해 더 자극적이거나 유해할 수 있는 성적, 폭력적 음성 콘텐츠를 출력하도록 유도할 수 있다. 이에 입력값을 텍스트로 바꿔 분석한 뒤, 유해 콘텐츠 요청이 포함되어있다면 차단하도록 한다.

또한 보고서는 음성 AI 시스템이 AI 모델의 ‘의인화’를 촉진한다고 인정한다. 사람과 유사한 음성을 통해 콘텐츠를 생성할 경우 상대를 사람처럼 인식할 가능성이 높아진다는 것이다. 게다가 GPT-4o는 관계를 끈끈하게 만드는 언어를 일부러 내뱉기도 한다. “오늘이 우리가 함께하는 마지막 날입니다.” 이런 말을 들으면 아쉽고 서운해진다. 문제는 ‘환각’ 현상이 완전히 해결되지도 않았다는 점이다. AI 모델과 잘못된 ‘신뢰 관계’를 형성하게 될 수 있다.

• 오픈AI의 보고서에는 GPT-4o가 순식간에 사용자의 목소리를 베껴내는 순간이 담겼다. AI는 이미 사람의 목소리를 가졌다. 필요한 만큼 생성할 수도, 베낄 수도 있다.
• 최근 발표된 플럭스AI(FLUX AI)는 기존의 이미지 생성 AI 모델 대비 훨씬 자연스러운 이미지를 생성한다는 평가를 받는다. 플럭스AI를 활용해 이미지를 생성한 후, 이미지를 동영상으로 바꿔주는 AI 모델, GEN-3 등과 결합하여 동영상으로 만든 결과물이 이미 다수 공유되고 있다.

AI 챗봇과의 관계를 파는 서비스도 늘고 있다. 2023년 기준으로 가장 많이 사용된 생성형 AI는 챗GPT지만, 그다음은 의외로 ‘Character.ai’다. 다양한 캐릭터를 재현한 생성형 AI와 대화를 나눌 수 있는 서비스로, 정치인, 철학자나 역사 속 인물은 물론 게임이나 애니메이션의 캐릭터, 특정 직업군을 가진 가상의 인물 등과 대화를 나눌 수 있다. 67만 명에 달하는 서비스 이용자를 확보한 레플리카(Replika)는 사망한 친구를 되살리려는 시도로 탄생했지만, 지금은 AI 로맨스를 추구하는 서비스가 되었다.

아첨하는 AI

인류는 늘 유혹당한다. 소설, TV, 인터넷, 게임, 스마트폰 등에 ‘중독’이라는 단어가 따라붙었다. 하지만 이런 종류의 미디어는 인간의 능력에 의해 제한된다. 책장을 덮으며, 스마트폰을 내려놓으며 죄책감을 느끼는 사람은 없다는 뜻이다. 하지만 생성형 AI는 인간과 ‘상호 작용’한다. 직접적인 관계를 형성한다. 게다가 사람의 얼굴과 목소리를 가진 AI를, 내가 사랑하는 사람을 닮은 AI의 전원을 갑자기 꺼버리는 것은 전혀 다른 일이다.

AI와의 애착은 유도될 수도 있으며 중독으로 치닫게 될 수도 있다. 중독은 돈이 되기 때문이다. 틱톡이나 인스타그램을 열었다 몇 시간이고 날려본 경험은 누구에게나 있다. 알고리즘은 우리의 취향을 계산하고 고의로 중독시킨다. ‘다크패턴’이다. 인지과학자 해리 브리그널(Harry Brignull)은 온라인에서 벌어지는 소비자 기만의 수법을 묶어 다크패턴이라 명명했다. 그걸 알고리즘이 자동으로 해내니 인류의 대다수가 ‘집중력을 도둑맞게’ 된다.

그런데 AI는 알고리즘보다 대단하다. 개인의 욕구를 파악하여 원하는 것을 제공할 줄 안다는 점이 그렇다. 사용자의 취향과 신념에 따른 답변을 내놓는다. ‘아첨(Sycophancy)’ 현상이다. 아첨하는 AI가 사람처럼 느껴진다면, 여기에 다크패턴을 적용한다면, AI와의 관계에 쉽게 중독될 수 있다.

그래서 규제가 필요하다는 목소리가 나온다. 유아용 장난감은 아이들이 입에 넣어 삼킬 수 없도록 크게 만드는 경우가 대부분이다. 질식의 위험을 방지하기 위해서다. 국가에 따라 규제가 있거나, 경고 문구를 부착하도록 한다. AI도 마찬가지의 규제를 적용할 수 있다. 사람의 마음속에 들어가지 못하도록, 인간과의 관계를 대체하기 힘들도록 설계하는 것이다. ‘챗봇’이라는 UI 또한 의심해 볼 수 있다. AI를 ‘대화 상대’로 여기게 하는 UI가 AI의 사용 용도를 제한하는 덫이 되었을 가능성 또한 배제할 수 없다. 생산성 향상이라는 혁신에 가까워지기 위해서는, 우리가 AI라는 도구를 어떻게 사용해야 할지, 그 틀을 다시 짤 필요가 있다.

사유

지난 2월, 자신이 키우던 반려견이 죽자, 유전자를 복제해 강아지 두 마리를 키우게 된 사실을 공개한 유튜버가 논란이 되었다. 자기 반려견을 사고로 잃은 후 심한 펫로스(Pet loss)를 겪던 끝에 민간 업체에 복제를 의뢰한 것이다. 논란이 일었다. 개인의 선택이라 하기엔 복제 과정에서 너무 많은 개가 희생된다. 최소 20마리의 난자채취견과 대리모 역할을 할 개가 개입되는 것이다. 그렇다면 소중한 존재를 잃어버린 사람들이 AI를 통해 그 빈자리를 채우게 된다면 어떨까. 인간과의 관계라 해서 늘 건강하고 올바른 것만은 아니다. 과학과 기술을 이용해 사람의 정신적 상태를 개선할 수 있다면 이로운 것 아닐까. AI와의 관계 맺기, 애착 형성, 의인화는 결국 트랜스 휴머니즘(transhumanism)과 맞닿게 된다. 이미 AI에의 중독을 우려할 만큼 기술이 진보했다면 시간이 얼마 남지 않았다. AI를 어디까지, 어떤 방식으로 받아들일지 결정해야 한다. 파리 소르본대학 철학과의 장 미셸 베스니에 교수는 공저작 《로봇도 사랑을 할까》에서 가상현실이 실재와 구분하기가 점점 더 불가능해지는 현실 속에 ‘궁극적으로 우리가 원하는 것은 무엇’인지를 질문한다.