3D 훈련 데이터 부족 문제, AI로 해결…메타, 새로운 3D 생성 모델 공개

인공지능(AI) 모델 훈련을 위한 데이터 우물이 말라가고 있다. 이에 AI가 만든 데이터인 '합성 데이터'에 눈길을 돌리는 기업들이 많다. 그러나 합성 데이터를 활용하면 AI의 성능이 떨어진다는 연구가 나오면서, 다른 대안을 찾아야 하는 것이 아니냐는 목소리가 커지고 있다. 

이 가운데 AI 합성 데이터로 훈련시킨 3D 생성 모델이 고품질 콘텐츠를 만든다는 연구 결과가 발표돼 눈길을 끈다. 9일(현지시간) 벤처비트 등 외신보도에 따르면 메타(Meta)와 옥스포드대학교 연구진이 단일 이미지나 텍스트를 통해 고품질 3D 콘텐츠를 생성하는 AI 모델 '브이퓨전3D(VFusion3D)'를 공개했다.

연구진은 사전 훈련된 비디오 생성 AI 모델을 활용해 합성 3D 훈련 데이터를 만드는 새로운 접근 방식을 활용했다. 브이퓨전3D는 AI 모델로 만든 3D 훈련 데이터를 학습했다는 이야기다. 그간 3D 생성 모델의 경우 데이터가 제한적이라는 점이 가장 큰 장애물이었다. 

학습 데이터가 방대한 텍스트, 이미지 등과 달리 3D 데이터는 현저히 부족한 것이 현실이다. 이에 연구진은 브이퓨전3D를 훈련시키기 위해 기존 비디오 AI 모델을 미세조정해 여러 각도에서 비디오 시퀀스를 생성했다. 이 데이터로 학습한 브이퓨전3D는 몇 초 만에 고품질 3D 콘텐츠를 생성할 수 있게 됐다. 

기존 3D 생성 모델과 브이퓨전3D의 선호도를 테스트한 결과 인간 평가자의 90% 이상이 브이퓨전3D를 선호한 것으로 나타났다. 연구진은 지속적으로 브이퓨전3D의 기능이 빠르게 개선될 것이라고 예상했다. 3D 콘텐츠를 활용하는 산업 전반의 혁신이 가속화될 수 있다고 연구진은 기대하고 있다.