구글 딥마인드가 차세대 AI 거대언어모델(LLM) '제미나이'로 로봇을 훈련시키는 실험을 진행 중이다.
구글 딥마인드는 자연어로 로봇을 훈련시키는 위해 제미나이를 활용한 방법을 담은 논문을 ‘아카이브(arXiv)’에 10일 발표했다. 연구진은 먼저 실험을 진행한 사무실 내 공간의 모습을 담은 영상을 로봇에게 보여줬다. 이후 제미나이 1.5 프로가 탑재된 로봇은 영상을 보고 공간의 구조나 사물의 위치, 주요 특징을 학습한다.
그런 다음 로봇은 자연어 명령이나 이미지 출력을 사용해 관찰한 내용을 기반으로 명령을 수행하도록 설계했다. 휴대전화를 보여주며 '어디서 충전할 수 있을까요'라고 물으면, 로봇은 동영상을 떠올려 전원 콘센트로 안내한다. 연구진은 로봇이 9000제곱피트(약 252평) 규모의 사무실 공간에서 다양한 작업을 수행하도록 테스트했다.
50가지 이상의 다양한 명령에 로봇은 90%의 성공률을 보였다. 제미나이 1.5 프로가 탑재돼 로봇은 훨씬 더 많은 양의 정보를 처리할 수 있게 됐다. 또 제미나이를 통해 로봇은 주변 환경을 기억하고 이해할 수 있어, 더욱 유연하게 작동할 수 있게 됐다.
로봇이 단순히 탐색하는 것 이상의 작업을 수행할 수 있을 것으로 예상된다. 예컨대 콜라의 재고가 있는지 물으면 제미나이는 로봇을 냉장고로 이동시킨다. 특정 음료의 재고를 확인한 뒤 사용자에게 돌아와 내용을 보고하는 방식이다. 단순한 탐색을 넘어 환경을 이해하고, 상식적인 추론을 하는 수준까지 발전할 수 있다는 이야기다.
다만 여전히 개선의 여지는 남아 있다. 시스템이 각 명령을 처리하는 데 최대 30초까지 소요된다. 실제 사무실에서 사용되기에는 너무 느리다는 것이 한계다. 한편 LG전자는 구글 제미나이를 탑재한 'LG 클로이' 로봇을 연내 출시할 것이라고 밝혔다.
AI포스트(AIPOST) 조형주 기자 aipostkorea@naver.com