드라마틱한 LLM 성능 개선 어려워졌나…"오픈AI, GPT 개발 전략 수정 中"

챗GPT 개발사 오픈AI는 생성형 인공지능(AI) 시대의 신호탄을 쏜 기업이다. 이후 오픈AI가 매번 신기술을 출시할 때마다 기술 트렌드가 바뀔 정도로 업계에 지대한 영향력을 미치고 있다. 이 가운데 몇 차례나 혁신을 거듭하던 GPT 기술의 품질 개선 속도가 둔화되고 있다는 주장이 제기됐다.  

9일(현지시간) 디 인포메이션 보도에 따르면 GPT 모델 품질 개선 속도가 예전 모델이 미치지 못하면서 오픈AI의 개발 전략이 변경되고 있다고 전해졌다. GPT 성능을 강화하기 위한 새로운 기술을 고안하는 데 열을 올리고 있다는 것이다. 

샘 알트만 CEO는 몇 달 전 차세대 AI 모델 '오리온(Orion)'을 놓고 "훈련 프로세스 중 20% 정도를 완료했지만, 이미 지능과 작업 수행 능력은 이미 GPT-4와 동등한 수준"이라고 말한 바 있다. 오픈AI 관계자도 오리온이 GPT-4보다 최대 100배 더 강력할 수 있다고 언급한 바 있다. 

하지만 현재 오픈AI의 개발 상황이 이전 모델들과는 다른 양상을 보이고 있다고 전해졌다. AI 모델 오리온은 GPT-4보다 성능이 뛰어나지만, 품질 개선 속도가 예전만 하지 못할 것이라는 이야기다. 한 오픈AI 직원은 특정 작업에 있어 GPT-4와 차기 모델의 성능 차이가 거의 없다고 말했다. 

이에 오픈AI가 모델 성능을 개선하기 위한 새로운 방법에 집중하고 있는 것으로 알려졌다. 오픈AI 연구원들은 강화학습, 추론 등에 특화된 모델을 완성시키기 위해 대규모 학습 샘플, 합성 데이터로 오리온을 학습시키고 있다고 한다. 

테크 업계에서는 LLM 개발 속도가 한계에 직면한 것이 아니냐는 의문의 목소리도 나오고 있다. 실리콘밸리 투자사 앤드리슨 호로위츠의 벤 호로비츠는 최근 유튜브 방송을 통해 "AI 훈련에 사용되는 GPU의 수를 늘리고 있지만, 그에 따른 지능적인 개선을 얻지 못하고 있다"라고 했다.