오픈AI는 지난 2023년 3월 경쟁 모델보다 더 나은 성능의 대규모 언어 모델(LLM) 'GPT-4'를 공개한 바 있다. 당시 오픈AI는 "인간 이상의 능력을 보여줬다"라고 소개했다. 실제 GPT-4는 미국 변호사시험에서 백분위 상위 10%의 성적을 거뒀다.
이전 모델인 GPT-3.5가 로스쿨 입학시험에서 C+ 성적을 받았던 점을 감안하면, 오픈AI는 GPT-4의 성능을 크게 개선하는 데 성공한 셈이다. 오픈AI 엔지니어에 따르면 GPT-4 모델 개발에는 수백명의 직원들이 참여했으며, 회사의 거의 모든 자원이 활용됐다고 한다.
이후 오픈AI는 추론 모델 'o-시리즈'에 이어 후속 모델 'GPT-4.5'를 잇따라 출시했다. 이 과정에서 보다 발전된 기술력과 노하우를 얻은 오픈AI가 GPT-4를 다시 만든다면 어느 정도의 자원이 필요할까.
최근 샘 알트만 오픈AI 최고경영자(CEO)는 공식 팟캐스트에서 GPT-4.5 연구진에게 "현재 최소 인력으로 GPT-4를 다시 만들 수 있는가"라고 물었다. 이에 대해 연구진은 "GPT-4는 더 이상 첨단 모델이 아니다. GPT-4를 다시 훈련하라고 하면 5~10명으로 충분하다"라고 답변했다.
GPT-4.5는 GPT-4보다 10배 더 강력한 모델로 평가되고 있다. 이와 관련 연구진은 "GPT4o는 'GPT-4.5'의 연구 성과를 바탕으로 소규모 팀이 훈련시킨 모델이다"라고 밝혔다. AI 모델을 제대로 구축하는 데 성공하면, 이후의 과정이 매우 수월해진다는 뜻이다.
이 자리에서는 AI 모델을 개발하는 데 있어 더 이상 컴퓨팅 성능 제한을 두지 않고 있다는 점도 언급됐다. 오픈AI는 현재 AI가 학습하는 데이터의 효과성에 초점을 맞추고 있다고 한다. 데이터가 한계점에 도달하면서 동일한 양의 정보에서 더 많은 가치를 창출할 수 있는 알고리즘 혁신이 필요하다는 의견이 나오고 있다.
그럼에도 마이크로소프트, 아마존, 구글, 메타 등 빅테크들은 올해 AI 역량 강화를 위해 AI 인프라에 막대한 자금을 투자할 것으로 예상된다. 오픈AI도 소프트뱅크와 투자자들로부터 투자를 유치해 컴퓨팅 역량을 확장하는 중이다.
AI포스트(AIPOST) 유형동 수석기자 aipostkorea@naver.com