사진·영상 이어 게임까지…AI가 1인칭 슈팅 게임 '둠(Doom)' 실시간 생성

1인칭 슈팅 게임의 원조 격인 '둠(Doom)'을 자동으로 생성할 수 있는 인공지능(AI) 모델이 개발됐다. 

구글과 텔아비브 대학 연구진은 최근 인공지능 기술을 활용해 실시간으로 게임을 생성하는 게임엔진인 '게임N젠(GameNGen)'을 공개했다. 이 모델의 핵심은 강화 학습 에이전트가 둠을 플레이하도록 훈련시켰다는 것이다. AI가 게임을 즐기면서 학습하고, 이미지 생성 모델로 새로운 게임의 프레임을 생성하는 식이다. 

에이전트는 플레이 세션을 기록해 저장하면서 게임을 반복해서 플레이했다. 그러면서 총을 맞거나, 혹은 죽지 않는 방법 등을 배우고 환경과 상호 작용하는 방법도 학습하게 된다. 이후 에이전트는 새로운 프레임을 생성한다. 이 과정에서 스테이블 디퓨전을 활용했다고 한다. 

이를 통해 AI는 이미지를 예측하고 생성하는 데 매우 능숙해졌다. 진행될 게임을 예측해 실시간으로 장면을 만들어낼 수 있게 됐다. 맵을 시각화하는 데 필요한 모든 텍스처, 색상, 모델, 스킨 등 모든 것을 생성한다. GPU와 유사한 TPU가 활용됐다. 

대량, 저정밀 계산 처리를 위한 AI에 맞게 특별히 설계됐으며 새로운 프레임을 초당 20프레임 이상 생성할 수 있다. 그러나 AI 모델이 사용자의 정보를 3초밖에 기억하지 못하는 한계도 있다. 사용자가 이동했던 동선이나 장소를 정확히 구현하지 못한다고 한다. 

프레임 간의 일관성 부족 문제가 발생할 수 있다는 것이다. 모델이 연속적인 프레임을 출력할 경우 깜박임 현상이 일어나기도 한다. 연구진은 게임엔진을 통해 "텍스트, 이미지 생성 모델과 같이 AI로 새로운 비디오 게임도 생성할 수 있을 것"이라고 말했다.