딥러닝 분야 세계 최고 권위자인 요슈아 벤지오(Yoshua Bengio) 몬트리올대 교수가 안전하고 정직한 인공지능(AI)을 개발하기 위해 비영리단체 ‘로제로(LawZero)'를 설립했다.
벤지오 교수가 설립한 로제로는 인간의 개입 없이 작업을 수행하는 AI 에이전트가 인류의 통제를 벗어날 것을 대비해 안전장치 역할을 하는 AI 모델 개발을 목표로 한다.
벤지오 교수는 새로운 모델을 '과학자 AI'로 명명했다. 그는 3일 자신의 홈페이지를 통해 현재의 AI 에이전트들을 '행위자'에 비유하면서 "과학자 AI는 나쁜 행동을 이해하고 예측할 수 있는 '심리학자'와 더 유사할 것"이라고 말했다.
벤지오 교수는 "우리는 정직하고 속이지 않는 AI를 만들고 싶다"라며 "이론적으로 자아도 없고, 스스로의 목표도 없는 순수한 지식기계를 상상할 수 있다. 마치 많은 것을 아는 과학자라고 볼 수 있다"라고 설명했다.
로제로가 개발하는 과학자 AI는 자율 AI 시스템의 위험한 행동을 예측하고 측정해, 잠재적으로 해로운 행동을 표시한다. 구체적으로 에이전트의 행동이 해를 끼칠 확률을 예측하고, 그 확률이 특정 임계값을 넘으면 해당 에이전트의 제안된 행동이 차단될 수 있는 구조다.
벤지오 교수는 AI가 점점 더 위험한 영역을 향해 가고 있다라는 점을 언급하며 이러한 상황을 막기 위해서는 그만큼 똑똑한 AI 안전장치를 만드는 것이 무엇보다 중요하다고 말했다.
로제로의 ‘과학자 AI’는 기존 AI 모델과 달리 확실한 답변을 제공하지 않는 대신 답변이 맞는지에 대한 확률을 제공한다. 이와 관련 벤지오는 "과학자 AI는 자신이 모든 것을 다 알지는 못한다는 겸손을 갖추게 될 것"이라고 했다.
로제로의 안전한 AI 가드레일 연구를 위해 초기 투자금 3000만 달러(약 410억원)를 확보한 것으로 전해졌다. 앞으로 각국 정부와 AI 연구기관들의 지원을 요청할 계획이다.
벤지오 교수는 이전에도 AI 에이전트의 위험성에 대해 우려한 바 있다. 벤지오는 지난 1월 스위스 다보스에서 열린 세계경제포럼에 참여해 AI 에이전트가 좋지 않은 결과를 가져올 수 있다고 말했다.
벤지오 교수는 "인공일반지능(AGI) 또는 초지능과 관련된 모든 재앙적인 사건은 에이전트가 있을 때 발생한다"라며 "우리는 에이전트 시스템을 구축하지 않고도 AGI를 달성할 수 있을 것으로 믿는다"라고 덧붙였다.
한편 벤지오 교수는 노벨상 수상자인 제프리 힌턴 캐나다 토론토대 교수 등과 더불어 ‘AI의 대부’로 꼽힌다. 그는 2018년 컴퓨팅 분야의 노벨상으로 불리는 튜링상을 받기도 했다.
AI포스트(AIPOST) 마주영 기자 aipostkorea@naver.com