지난 2016년 등장한 바둑 인공지능(AI) 알파고는 반복적으로 학습하며 실력을 키웠다. 당시 알파고는 전 바둑프로 기사인 이세돌 9단을 꺾었다. 그때부터 AI는 단순한 질의응답 기능을 넘어 보다 광범위한 역할을 할 수 있을 것이라는 인식이 확산됐다.
챗GPT 등장 이후 각종 AI 모델이 출시됐는데, 기업들은 자사의 모델을 소개하며 코딩, 수학, 과학 등 문제를 잘 해결할 수 있다는 점을 부각시켰다. 기본적인 연산 능력 외에 실제 업무에 필요한 문제 해결 능력이 중요해 지고 있기 때문이다.
그렇다면 똑똑해질 대로 똑똑해진 AI가 바둑과 같이 수학적 확률만으로 해결할 수 없는 복잡한 게임도 잘할 수 있을까. 이와 관련, 미국의 한 연구진이 슈퍼마리오 브라더스 게임으로 AI 모델들의 성능을 따져본 연구 결과가 발표돼 화제를 모으고 있다.
미국 캘리포니아대학 샌디에이고 캠퍼스 '하오 AI랩'(Hao AI Lab) 연구진은 최근 슈퍼마리오 브라더스 게임에 AI를 투입했다. 앤트로픽의 클로드 3.7과 더불어 클로드 3.5, 구글의 제미나이 1.5 프로, 오픈AI의 GPT-4o 등 모델에게 슈퍼마리오 게임을 시켜본 것이다.
결과는 어땠을까. 앤드로픽의 클로드 3.7이 가장 좋은 성과를 보인 것으로 나타났다. 클로드 3.7이 플레이한 영상을 보면 캐릭터가 함정에 빠지지 않고 게임을 매끄럽게 이어가는 모습을 볼 수 있다. 클로드 3.5가 그 뒤를 이었다.
구글 제미나이 1.5 프로와 오픈AI GPT-4o는 클로드 모델보다 성능이 떨어지는 것으로 나타났다. 제미나이 모델은 캐릭터 조작에 어려움을 겪었고, GPT-4o의 경우 게임을 제대로 진행하지 못했다. 테스트에 사용된 슈퍼마리오 게임은 1985년 출시된 오리지널 슈퍼마리오 브라더스는 아니다.
게임은 에뮬레이터에서 실행됐고, 연구진은 '게이밍에이전트'라는 프레임워크와 통합시켜 AI가 마리오를 실제로 제어할 수 있도록 했다. 연구진이 자체 개발한 게이밍에이전트는 AI에 "장애물이나 적이 가까이 있으면 왼쪽으로 이동·점프해 회피하라"와 같은 기본 지침과 게임 내 스크린샷을 제공해 학습시켰다.
이후 AI가 마리오를 제어할 수 있도록 파이썬 코드형태로 입력 값을 생성했다. 연구진은 각각의 AI 모델이 복잡한 기동을 계획하고 게임플레이 전략을 개발하도록 훈련시켰다. 연구진은 오픈AI의 o1과 같은 추론 모델이 비추론 모델보다 게임 플레이 성과가 나쁘다는 것도 발견했다.
일반적으로 대부분의 벤치마크에서 추론 모델이 비추론 모델을 앞선다. 추론 모델이 게임을 하는 데 어려움을 겪는 이유 중 하나는 추론 모델의 경우 행동을 결정하는 데 시간이 더 오래 걸리기 때문이다. 슈퍼 마리오 브라더스 게임은 타이밍이 중요한 게임이다.
안전하게 점프하느냐 추락하느냐가 1초 만에 결정된다. 실시간 게임 분야에선 오랫동안 생각하는 모델보다 빠르게 행동 전략을 짜고 수행하는 AI 모델이 유리하다는 의미다.
한편 바둑이나 게임 외에도 AI가 활약할 수 있는 분야가 확장되고 있다. 일본 미쓰비시 전기(Mitsubishi Electric)가 만든 AI 로봇이 0.305초만에 큐브를 모두 맞춰 지난해 기네스 신기록을 세운 바 있다.
0.305초는 사람이 눈을 한 번 깜빡이는 데 걸리는 시간과 비슷하다. 보통 숙련된 사람은 3~4초 만에 큐브를 맞춘다. 미쓰비시 전기는 신호 반응형 모터와 색상 인식 인공지능(AI) 알고리즘을 사용해 시간을 단축할 수 있었다고 밝혔다.
AI포스트(AIPOST) 조형주 기자 aipostkorea@naver.com