"훈련에 엔비디아 칩 1만 6000개 썼다"…메타, 라마 차기 버전 공개

메타가 오픈소스 거대언어모델(LLM) 라마3 시리즈 중 가장 상위 버전을 공개했다. 오픈AI의 'GPT-4o', 구글의 '제미나이', 앤트로픽의 '클로드3 소네트' 등과 본격 경쟁을 벌일 예정이다.

메타는 23일(현지시간) 매개변수 4050억(405B)개 규모의 LLM '라마3.1(Llama 3.1)'을 공개했다. 라마 3.1을 공개하며 메타는 역대 최대 규모의 모델이고, 다양한 벤치마크에서 GPT-4o와 클로드 3.5 소네트의 성능을 뛰어넘었다고 밝혔다. 

라마 3.1은 엔비디아의 주력 인공지능(AI) 칩인 'H100' 1만 6000개로 훈련됐다고 한다. 메타는 라마 3.1 개발 비용을 공개하진 않았지만, 칩 비용을 기준으로 볼 때 수억 달러가 쓰였을 것으로 추산된다. 라마 3.1은 텍스트, 이미지를 이해하고 생성할 수 있는 멀티모달을 지원하는 것이 특징이다. 

라마 3.1은 다국어로 지원되며 12만 8000토큰의 컨텍스트 창을 갖췄다. 앞서 메타는 지난 4월 '라마3' 시리즈 중 80억 개(8B), 700억 개(70B) 등 소형 버전 2종을 출시했다. 

메타의 생성AI 담당 부사장인 아마드 알 달레(Ahmad Al-Dahle)는 라마 3.1이 개발자에게 특히 인기를 끌 것이라고 강조했다. 메타는 라마 3.1 모델을 자사의 메타 AI 어시스턴트에 탑재할 계획이다. 몇 주 내에 인스타그램와 페이스북 등에서 라마 3.1이 탑재된 메타 AI 어시스턴트를 만나볼 수 있다. 

한편 마크 저커버그 메타 최고경영자(CEO)는 라마 3.1을 발표하며 오픈소스에 대해 또 한 번 강조했다. 저커버그는 "우리는 생태계의 더 많은 회사가 고객에게 고유한 기능을 제공하도록 적극적으로 파트너십을 구축하고 있다"라고 했다. 

그러면서 그는 "405B 모델이 개방형이라는 사실은, 더 작은 모델을 미세 조정하고 정제하기에 가장 좋은 선택이 될 것"이라며 "메타는 오픈소스 AI에 전념한다. 오픈소스 AI는 모든 사람을 위한 가장 큰 경제적 기회와 보안을 창출할 수 있는 최고 기회를 준다"라고 덧붙였다.