페이스북 모회사 메타플랫폼(이하 메타)이 자사의 최신 인공지능(AI) 모델인 라마4(Llama4)를 공개했다.
메타는 5일(현지시간) 공식 블로그를 통해 라마4 제품군 중 스카우트(Scout)와 매버릭(Maverick)을 선보인다고 밝혔다. 지난해 4월 라마3를 처음 선보인 이후 1년 만이다.
메타는 라마4 스카우트와 매버릭이 자사가 개발한 모델 중 가장 진보한 버전이라고 설명했다. 더불어 멀티모달 기능 면에서 동급 최고 성능을 자랑한다고 강조했다. 170억 개의 활성 매개변수를 보유한 라마4 스카우트의 경우 세계 최고의 멀티모달 모델이라고 메타 측은 밝혔다.
긴 컨텍스트 처리에 중점을 둔 모델로, 다양한 벤치마크에서 젬마 3, 제미나이 2.0 플래시-라이트, 미스트랄 3.1보다 더 나은 성능을 보였다고 한다. 사실상 주력 모델인 라마4 매버릭은 총 매개변수 4000억개 가운데 활성 매개변수 170억개를 보유하고 있다.
메타는 스카우트와 더불어 매버릭도 동급 최고의 멀티모달모델이라고 소개했다. 인간의 선호도로 순위를 가리는 LM아레나(LMArena) 평가에서 우수한 성과를 냈다고 한다. 특히 매버릭은 특정 산업이나 응용 분야에서의 활용을 염두에 두고 개발됐다.
메타는 이 두 모델의 경우 오픈소스 소프트웨어로 제공된다고 메타는 덧붙였다. 메타의 왓츠앱, 메신저, AI 챗봇 등을 통해 모델을 이용해 볼 수 있다. 메타는 라마4 제품군 가운데 가장 강력한 모델인 '베헤모스(Behemoth)'도 공개했다.
아직 학습 중인 모델로, 스카우트와 매버릭을 위한 교사로 활용된 모델이다. 이번에 공개된 라마4 모델들은 전문가 혼합(MoE) 방식을 도입한 최초의 모델이다. 모델 일부를 특정 작업에 맞춰 따로 훈련해 해당 분야의 전문가로 만드는 방법이다.
중국 스타트업 딥시크 모델에 활용된 방식으로 알려져 있다. 마크 저커버그 CEO는 SNS를 통해 "우리 목표는 세계 최고 AI를 구축하고 오픈 소스화해 전 세계 모든 사람이 보편적으로 접근할 수 있게 하는 것"이라고 밝혔다.
한편 라마4 모델은 다량의 엔비디아의 그래픽처리장치(GPU)로 구성된 자체 클러스터에서 학습된 것으로 전해졌다. 저커버그는 지난 3분기 실적 발표에서 "현재 10만 개의 H100보다 더 큰 클러스터에서 이 모델을 훈련하고 있다. 이는 다른 사람들이 수행하는 것보다 더 큰 규모"라고 밝힌 바 있다.
AI포스트(AIPOST) 유형동 수석기자 aipostkorea@naver.com