MS, 새로운 소형언어모델 '파이-3.5' 공개…"개발자들의 혁신 생태계 지원"

마이크로소프트(MS)가 새로운 소형언어모델(SLM) '파이-3.5'를 공개했다. 벤치마크 결과 일부 성능은 구글의 제미나이 1.5 플래시, 메타의 라마 3.1, 오픈AI의 GPT-4o 미니 등 경쟁 모델을 넘어서는 것으로 나타났다.

21일(현지시간) 벤처비트 등 외신보도에 따르면 마이크로소프트는 파이-3.5의 인공지능(AI) 모델 3종을 허깅페이스를 통해 출시했다. MS가 공개한 모델은 파이-3.5-미니, 파이-3.5-MoE(전문가 혼합 모델), 파이-3.5-비전 등이다. 

파이-3.5-미니는 38억 2000만개의 매개변수로 학습된 모델로, 제한된 컴퓨팅 환경에서도 빠른 추론이 가능하다는 것이 특징이다. 419억개의 매개변수로 학습된 파이-3.5-MoE는 고급 추론용 모델로, 복잡한 작업을 처리하는 데 특화돼 있다. 

파이-3.5-비전은 이미지 처리에 강점을 가진 모델로, 41억 5000만개의 매개변수로 학습됐다. 문자, 차트, 비디오 등 다양한 이미지를 중점적으로 훈련한 것으로 알려졌다. 

이 가운데 파이-3.5-MoE 모델은 STEM, 인문학, 사회 과학 등 다양한 분야의 언어 이해도를 평가하는 'MMLU' 벤치마크에서 GPT-4o 미니를 넘어섰다고 한다. 

이번에 공개된 모델 3종 모두 오픈소스로 허깅페이스에서 다운로드할 수 있다. 세 모델은 모두 오픈소스로 허깅페이스에서 다운 받아 사용할 수 있다. MS는 "개발자들이 AI를 활용해 상업 및 연구 분야 전반에서 혁신을 촉진할 수 있도록 모델들을 오픈소스로 지원한다"라고 밝혔다.