국내 최초 실시간 인공지능 뉴스 추천
카카오 루빅스(RUBICS, Realtime User Behavior-based Interactive Content recommender System)는 이용자의 콘텐츠 소비 성향에 반응해 적절한 콘텐츠를 실시간 추천하는 인공지능 기술로, 2015년 카카오가 국내 최초로 개발했다.
루빅스 개발 전에는 에디터들이 다음뉴스 메인 화면에 기사를 직접 배치했다. 하지만 기사 양이 점점 늘면서 ‘기사 수만 개를 일일이 판단하고, 관심사가 다른 사용자가 같은 뉴스를 소비해도 될까’라는 의문을 갖게 됐다는 게 카카오의 설명이다. 다음뉴스에는 하루 3만여 건의 기사가 들어온다.
카카오는 모바일 시대에 맞는 뉴스 편집을 고민한 결과 ‘실시간 이용자 반응형 콘텐츠 추천 시스템’인 루빅스를 개발했다. 루빅스라는 이름에서 짐작할 수 있듯 나에게 맞는 뉴스 콘텐츠를 루빅스 큐브 돌리듯 보여 준다는 의미도 있다.
루빅스는 사용자가 관심을 가질 만한 콘텐츠를 자동으로 선별해 보여 준다. 사용자 개인의 콘텐츠 소비 성향과 사용자 집단의 특징을 종합해 판단한다. 루빅스는 사용자가 평소에 관심을 가지는 뉴스, 같은 성별과 비슷한 연령의 사람들이 많이 보는 뉴스, 상대적으로 오랜 시간을 들여 꼼꼼하게 읽는 뉴스, 관심을 가진 뉴스와 같은 주제의 뉴스 등 다양한 데이터를 활용해 콘텐츠를 추천한다.
이전에는 이런 데이터를 고려하지 않아 누구나 같은 뉴스 콘텐츠를 다음에서 접했지만, 루빅스 적용 후에는 이용자마다 첫 화면이 달라졌다. 가령 경제 기사를 즐겨 보는 30대 여성에게는 부동산 정책과 대출 금리 기사가, 스포츠 기사를 자주 보는 20대 남성에게는 영국 프리미어리그 경기 결과와 프로 농구 기사가 우선 추천된다.
루빅스의 뉴스 추천 과정은 크게 세 단계다. 다음뉴스의 콘텐츠는 클러스터링
[1] 단계를 지나 문서 중복과 어뷰징(동일 기사 반복 전송)을 걸러 내고 루빅스풀에 들어간다. 이 과정을 거치고 나면 루빅스 시스템이 다음뉴스 첫 화면에 기사를 자동 배치한다. 인공지능 뉴스 추천 기술을 적용한 이후 다음뉴스 모바일 첫 화면의 클릭 수는 두 배 이상 늘었고, 하루 평균 방문자 수는 43퍼센트 증가했다.
다음뉴스가 모든 기사를 자동 배치하는 건 아니다. 대형 사고, 재난 재해, 기상 특보처럼 큰 뉴스는 전체 이용자에게 똑같이 배치된다.
루빅스를 개발한 루빅스TF팀은 PM, 뉴스 에디터, 응용분석 엔지니어로 이뤄져 있다. PM은 서비스를 기획하고, 에디터는 속보와 사건 사고, 스포츠 생중계 등 뉴스를 모니터링하고 루빅스 기본 풀을 관리한다. 엔지니어는 루빅스 알고리즘을 설계하고 실시간 반응을 측정한다.
[2]
루빅스는 사용자의 기사 소비 패턴을 실시간으로 학습해 기사 노출 여부와 위치를 정한다. 루빅스 적용 후 내가 원하는 콘텐츠를 접할 기회가 많아졌다는 게 이용자의 전반적인 반응이다. 루빅스가 적용되면서 다음뉴스 첫 화면에 소개되는 기사의 종류도 다양해졌다. 이전에는 정치, 사회, 경제 기사가 주를 이뤘다면, 루빅스 도입 후에는 IT와 문화 기사 소비가 부쩍 늘었다.
2015년 6월 다음뉴스 모바일을 시작으로 카카오톡 채널에도 루빅스가 적용됐다. 카카오 브런치를 포함한 전문가 수준의 블로거와 각종 커뮤니티의 글도 조회 수 상위 목록에 이름을 올린다. 카카오는 루빅스 알고리즘 도입 후 전체 페이지뷰가 증가하고, 체류 시간과 소비 시간도 함께 올랐다고 밝혔다.
카카오 루빅스는 네이버의 ‘모두를 위한 AiRS 추천’과 종종 비교된다. 카카오에 이어 네이버는 2017년 3월 인공지능 기반 추천 알고리즘을 뉴스 영역에 도입했다. 2017년 7월에는 ‘경제M’, ‘연예’, ‘스포츠’, ‘연재와 칼럼’ 판 등으로 확대 적용했다.
네이버가 베타 서비스를 시작한 2017년 2월을 기준으로 삼아도 카카오에 비해서는 1년 8개월이나 늦은 출발이었다. 그럼에도 다음 모바일 뉴스에 대한 주목도는 높았다고 볼 수 없다. 네이버가 포털 뉴스 이용자 수 1위인 걸 감안하더라도
[3] 카카오 루빅스는 시장에서 제대로 된 평가를 받지 못했다.
두 포털의 추천 서비스는 아직 불완전한 단계다. 네이버 공식 블로그에는 ‘에어스’ 서비스에 대한 불만을 제기한 댓글이 500개 가까이 달렸다. 이 서비스는 관심이 없는 뉴스를 추천하는 경우가 종종 있다. 다음뉴스의 ‘나를 위한 추천’ 코너에는 12시간이 지난 기사가 종종 걸려 있다. 이에 대해 카카오 측은 다음과 같이 설명한다.
“해당 영역은 최신 콘텐츠보다 관심사 중심으로 추천하기 위한 의도가 있다. 어떤 기사가 발행된 지 12시간이 지났다고 해서 추천해서 안 될 이유는 없다. 최신 기사 중심의 뉴스 구조를 조금이나마 탈피해 보기 위한 영역이다. 사실 관계가 중요한 이슈가 생겼을 때는 개인화 추천 대신 최신 중심으로 알고리즘을 바꿔 제공하기도 한다. 카카오는 네이버에 비해 약 3년 이상 추천 서비스를 먼저 시작했으며, 많이 읽는 글뿐 아니라 열독률이라는 지표를 개발해 꼼꼼히 읽은 기사까지 분석해 추천에 반영한다는 점에서 네이버와 크게 다르다.”
인공지능 기반 뉴스 추천 기술이 편리한 서비스라는 데에는 이견이 없지만, 정보 편향이나 언론사의 가치 판단이 침해되는 등 여러 부작용이 드러나고 있다. 이런 상황에서 뉴스를 대리 제공하는 포털은 언론의 역할을 더욱 강하게 요구받고 있다. 하지만 국내 양대 포털 기업은 스스로를 IT 기업이라 선을 그으며 책임을 피하고 있다.
2018년 5월 카카오는 다음 앱에 ‘추천’ 섹션을 추가했다. 여기에는 루빅스 대신 스마트 스피커 카카오 미니를 구동하는 ‘카카오i’가 적용됐다. ‘뉴스’ 섹션을 두 번째로 밀어낸 것으로 볼 때 ‘네이버 뉴스 댓글 조작 사건’ 이후 네이버가 “뉴스 편집을 더 이상 하지 않겠다”고 선언한 데에 따른, 포털 뉴스에 집중되는 관심을 분산하기 위한 조치로 보인다.
구글은 2018년 5월 연례 개발자 회의 ‘구글 I/O’에서 인공지능과 머신러닝 기술을 적용한 구글 뉴스를 공개했다. 구글의 뉴스 서비스는 카카오과 네이버의 뉴스 서비스에 비해 사용자 추천의 수준이 높다는 평가를 받는다. 구글 뉴스를 보면 국내 포털이 제공할 인공지능 추천 뉴스 서비스를 미리 내다볼 수 있다.
카카오 루빅스 TF팀 인터뷰; “슬롯머신 베팅 전략을 뉴스 서비스에 적용”
미국 마케팅 전문연구기관 마케팅프로프스(MarketingProfs)에 따르면 매일 생산되는 온라인 기사는 2017년 기준 200만 개가 넘는다. 저 많은 기사 중 내 입맛에 맞는 것만 고를 수 없을까. 뉴스 소비자라면 한번쯤 해봤을 고민이다. 내 취향을 고려해 지금 봐야 할 뉴스를 골라 주는 영리한 앱이 있다면 어떨까. 사람이 아닌 인공지능이 실시간 편집하는 뉴스 앱 말이다.
2015년 6월 카카오가 국내 최초의 인공지능 뉴스 추천 알고리즘 ‘루빅스’를 다음뉴스 모바일에 적용한 지 2년이 지난 2017년 7월, ‘열심히 읽은 기사’를 선별한 ‘꼼꼼히 본 뉴스’가 다음뉴스에 새로 적용됐다. 루빅스는 이용자의 뉴스 소비 패턴에 따라 뉴스의 노출과 배열을 효율적으로 결정하는 시스템이다.
앞서 2017년 3월에는 루빅스의 초기 알고리즘 개발 과정과 주요 내용을 담은 학술 논문이 발표됐다. 자사 주요 서비스의 알고리즘을 공개한 사례는 국내 인터넷 기업 중 카카오가 처음이다.
루빅스는 계속 진화한다. 축적된 데이터를 스스로 학습한다. 루빅스가 모바일 앱에 적용된 이후 뉴스 이용량이 늘고 제공되는 뉴스가 다양해졌다. 다음 첫 화면의 뉴스 개수는 평균 3.5배 늘었다. IT 과학 분야는 3.3배, 국제는 5.1배, 문화는 5.5배를 기록했다.
카카오는 2017년 5월 AI 추천 플랫폼 ‘토로스(TOROS)’를 공개하고 맞춤형 추천 시스템을 강화했다. 루빅스가 뉴스와 콘텐츠를 추천하는 시스템이라면, 토로스는 다음tv팟 영상을 시작으로 브런치와 카카오페이지에 주로 적용되는 시스템이다.
루빅스 시스템을 이끄는 성인재 루빅스 TF장, 문성원 루빅스 PM, 윤승재 커뮤니케이션팀 매니저를 카카오 판교 사옥에서 만났다.