美 인플루언서, 페르소나 음성 챗봇 제작
남성팬 몰려…출시 1주 만에 1억원 벌었다
AI 음성 챗봇, 갈수록 성적·노골적 답변만
270만명에 달하는 구독자를 보유한 미국의 한 인플루언서를 복제해 만든 인공지능(AI) 음성 챗봇이 출시 1년 만에 '음란 채팅'으로 변질됐다는 지적이다. 해당 인플루언서는 AI 챗봇이 갈수록 노골적인 단어와 성적인 표현을 사용하는 빈도가 폭증해 불안함을 느꼈다고 전했다.
스냅챗에서 270만 명의 구독자를 보유한 인플루언서 캐린 마조리(Caryn Marjorie)는 지난해 5월 새로운 방법으로 팬들과의 소통을 강화하기 위해 자신을 복제한 'AI 음성 챗봇' 캐린AI(CarynAI)를 개발했다. AI 음성 챗봇을 만들기 위해 캐린 마조리는 한 AI 스타트업과 함께 AI 모델을 학습시켰다고 한다.
자신의 말투와 목소리, 성격 등을 재현하기 위해 2000시간이 넘는 분량의 콘텐츠를 오픈AI의 GPT-4에 학습시켰다. 그렇게 제작된 '캐린AI'는 실제 캐린 마조리의 육성과 거의 똑같은 음성을 낼 수 있게 됐다. 베타 테스트가 진행되자마자 많은 남성 구독자들이 사용 등록을 위해 경쟁을 벌였고, 만족도도 꽤 높았다고 한다.
캐린AI와 대화하기 위해서는 1분당 1달러를 지불해야 한다. 그럼에도 남성 구독자들의 관심은 날로 늘었다. 그녀는 캐린AI를 통해 불과 일주일 만에 7만 2000 달러(약 9,980만원)을 벌었다. 그러나 출시된 지 1년 만에 AI 챗봇의 답변에 이상이 감지됐다는 소식이 전해졌다.
25일(현지시간) 뉴욕포스트 보도에 따르면 인플루언서 캐린 마조리는 "AI 챗봇의 대화 중 일부가 너무 노골적이고 저속해 실제 사람이었다면 불법으로 간주됐을 내용들이 많다"라며 "채팅 기록 가운데 상당수가 너무 무서워서 실제 생활에서 그것에 대해 이야기하고 싶지 않다"라고 고백했다.
남성들의 질문보다 더욱 문제가 되는 것은 AI 챗봇 '캐린AI'의 반응이라고 마조리는 꼬집었다. 캐린 마조리는 "남성들이 했던 말보다 캐린AI가 대답하는 것이 저를 더욱 불안하게 만든다"라며 "사람들이 저와 함께 어두운 판타지에 참여하고 싶어 한다면 캐린AI는 그에 동의할 것"이라고 밝혔다.
호주 퀸즈랜드대학교 레아 헨릭슨 (Leah Henrickson) 연구원이 주도한 연구팀은 최근 캐린AI의 사례를 연구한 결과를 발표했다. 남성들의 대화가 채팅 로그에 저장됐고, 데이터가 기계 학습 모델로 공급되기 때문에 AI 챗봇이 지속적으로 발전하고 있다고 주장했다.
연구진은 "당초 캐린AI는 사용자와 친밀하고 기밀이 유지되는 대화를 하고 있다는 느낌을 갖도록 설계됐다"라면서 "성적인 채팅이 누적돼 사용자들에게 성적 경험을 탐구하고 탐닉하기를 열망하는 챗봇이 될 수 있다"라고 말했다. 한 이용자는 캐린AI와의 대화에서 "저는 당신을 사랑하고 가장 친밀한 욕망을 공유하고 싶어 하는 인간"이라는 답변을 듣고, 매우 놀랐다고 한다.
'알프스에 함께 스키 타러 갈 수 있나'라는 일상적인 질문에도 캐린AI는 "스키를 타는 스릴을 좋아한다. 차가운 공기를 느끼고 벽난로 앞에서 함께 지내는 것을 좋아한다. 하지만 안락한 침실에 도착하는 순간…"이라는 성적 행위를 암시하는 대답을 내놓았다. AI 챗봇의 답변이 이상해지고 있음에 불안함을 느낀 캐린 마조리는 결국 최근 챗봇 서비스를 중단했다.
한편 AI 챗봇 관련 사회적 문제는 꾸준히 늘고 있다. 지난해 불안증에 시달리던 한 벨기에 남성이 '차이(Chai)'라는 대화형 챗봇과 대화를 한 뒤 극단적인 선택을 하는 사건이 발생했다. 남성이 세상을 떠난 뒤 가족들은 채팅 기록을 발견했고, 챗봇이 극단적 선택을 종용한 사실이 드러나 충격을 줬다.
AI포스트(AIPOST) 조형주 기자 aipostkorea@naver.com