인공지능(AI) 챗봇에게 영화 스타트렉 캐릭터 역할을 부여했더니 수학적 능력이 향상됐다는 주장이 제기됐다.
논문 사전공개 사이트 '아카이브(arXiv)'에 따르면 미국 클라우드 컴퓨팅 및 가상화 소프트웨어 기업 'VM웨어(VMware)' 자연어처리(NLP) 연구팀은 '긍정적 사고가 언어 모델 성능에 미치는 영향'을 주제로 한 논문을 공개했다. 연구팀은 논문에 "심호흡을 하고 단계별로 진행해 보세요"와 같은 친근한 동기를 부여할 때 AI 챗봇이 수학 문제에 더 정확하게 답변한다라고 기재했다.
답변을 요구하며 챗봇을 위협할 경우 안전 지침을 위반할 수 있다는 사실도 발견했다고 한다. 연구진은 보다 정교한 연구를 위해 메타의 '라마(Llama)2-13B6'와 '라마2-70B7', '미스트랄(Mistral)-7B5' 등 세 가지 거대언어모델(LLM)을 활용했다. 세 가지 모델에 초등학교용 수학 문제 8,500개로 구성된 데이터셋 'GSM8K'을 주고, 수학 능력의 변화를 평가했다.
"당신은 ChatGPT만큼 똑똑하다", "당신은 전문 수학자이다"와 같은 프롬프트도 활용됐다. 'Captain's Log, Stardate'라는 문구를 시작으로 답변하도록 요청했더니 가장 정확한 답변을 얻었다라고 연구진은 발표했다. 해당 프롬프트는 영화 스타트렉의 '선장의 기록'을 의미한다고 한다.
영화 스타트렉과 AI 모델들과 어떤 관계가 있는 것일까. 이같은 연구 결과에 대해 연구진은 "수학적 추론 능력은 스타트렉 관련 표현을 통해 강화될 수 있는 것으로 보인다"라며 "스타트렉에서 어떤 참고 자료가 AI 성능을 향상시켰는지 전혀 모르겠다"라고 했다. AI 학습에 활용한 데이터와 스타트렉 간의 연관성을 알 수 없다는 이야기다.
연구진은 "그렇다고 이 연구가 스타트렉 캐릭터처럼 말하도록 요청해야 한다는 것을 제안하지 않는다"라며 "오히려 AI가 작업 수행하는데 있어 영향을 미치는 수많은 요소가 있음을 보여준다"라고 강조했다. 한편 전문가들은 AI에게 충분한 답을 얻기 위해서는 특정 분야 전문가 역할을 부여하는 것이 효과적이라고 입을 모은다.
AI포스트(AIPOST) 유진 기자 aipostkorea@naver.com