챗GPT 개발사 오픈AI 연구진이 인공지능(AI)이 진짜인 양 거짓말을 하는 ‘환각(hallucination)' 문제가 발생하는 원인을 분석한 연구 결과를 발표했다.
오픈AI는 최근 공식 홈페이지를 통해 '언어모델이 환각 현상을 보이는 이유'라는 제목의 연구 결과를 제시했다. 생성형 인공지능이 진짜와 비슷하지만, 존재하지 않는 정보를 지어내거나 조작하는 것을 환각 현상이라고 부른다.
오픈AI 연구진은 환각의 원인이 'AI 학습 구조'에 있다고 밝혔다. 거대언어모델(LLM)을 훈련하는 방법이 불확실성을 인정하는 것보다 추측을 장려하는 구조로 설계됐기 때문에 환각 현상이 더 빈번하게 발생할 수 있다는 게 오픈AI 측의 설명이다.
오픈AI 연구진은 "대부분의 평가가 채점되는 방식 때문에 환각이 지속된다. 언어모델의 경우 불확실할 때 추측하게 되는데, 그러면 시험 성정이 향상된다"라고 했다. AI 모델을 평가하는 벤치마크는 AI가 답을 제출하지 않으면 점수를 주지 않는다. 이 때문에 잘 모르는 정보라도 보상을 얻기 위한 AI 모델이 추측하도록 유도된다는 것이다.
연구진은 논문에 "인간은 불확실성을 표현하는 것의 가치를 배운다. 반면 언어모델은 불확실성에 벌점을 주는 시험을 통해 주로 평가된다"라고 기술했다. 언어모델의 환각 현상을 줄이기 위해서는 평가 지표를 재설계해야 한다는 이야기다.
오픈AI 측은 "근본적인 문제가 정렬되지 않은 평가가 너무 많다는 것이다"라며 "불확실한 상황에서 답변을 하지 않는 것에 대한 불이익을 막기 위해 수많은 기본 평가들을 조정해야 한다"라고 강조했다.
이어 "널리 사용되는 정확도 기반 평가는 추측을 배제하도록 채점 방식을 개선해야 한다. 계속해서 운 좋은 추측에 보상을 준다면 AI 모델을 계속해서 추측하는 법을 배우게 될 것이다"라고 덧붙였다.
다만 AI 모델 개발사들이 환각 현상을 해결하기 위해 모델을 평가하는 벤치마크 기준을 당장 개선하기는 쉽지 않아 보인다. AI 모델의 성능을 평가할 때 보통 공용 벤치마크 지표를 활용하는데, 여기서 고득점을 획득하면 할수록 자사의 AI 모델의 성능을 효과적으로 홍보할 수 있어서다.
즉, 불확실한 정보에 대해 응답을 거부하는 모델을 내놓기 어려운 실정이다. 이에 AI 모델의 공용 평가 방식을 바꿔야 많은 AI 개발사들이 환각 현상 줄이기에 동참할 수 있을 것으로 분석된다.
데미스 허사비스 최고경영자(CEO)도 벤치마크에 대해 언급한 바 있다. 허사비스 CEO는 '제미나이 딥 싱크(Gemini Deep Think)'를 예로 들며 "고등학교 수학에서 여전히 간단한 실수를 할 수 있다"라며 "균일하지 않은 지능, 들쭉날쭉한 지능 때문"이라고 했다.
그러면서 그는 모델의 우수성과 부적합성을 정확히 판단하기 위한 더 나은 테스트와 엄격한 벤치마크도 필요하다고 강조했다. 한편 오픈AI는 자사의 모델이 경쟁 모델보다 환각률이 낮으며, 오류율을 높이기 위해 지속적으로 노력하고 있다고 밝혔다.
AI포스트(AIPOST) 유형동 수석기자 aipostkorea@naver.com