마이크로소프트(MS)가 소형중앙처리장치(CPU) 환경에서 구동할 수 있는 인공지능(AI) 모델 '비트넷(BitNet)'을 공개했다.
MS는 최근 허깅페이스를 통해 AI 모델 '비트넷 b1.58 2B4T'를 공개했다. 비트넷은 고성능 그래픽처리장치(GPU)가 아닌 CPU에서 AI 모델을 구동할 수 있도록 설계된 모델이다.
애플 'M2'와 같은 CPU에서 실행될 수 있다. 이번에 공개된 '비트넷 b1.58 2B4T' 모델은 매개변수 20억 개를 보유하고 있다. 기존 거대 AI 모델 대비 메모리 연산 효율을 높였다는 게 특징이다.
'비트넷 b1.58'은 강중치를 -1, 0, 1의 세가지 값만으로 양자화하는 방식을 도입했다고 한다. 이로써 비트 수를 줄이면서도 연산 속도를 높이는 데 성공할 수 있었다.
비트넷은 자체 테스트에서 메타의 '라마 3.2 1B'나 구글의 '젬마3 1B', 알리바바의 '큐원 2.5 1.5B' 등 경쟁 모델보다 나은 성능을 보였다고 한다. 이 모델을 실행하기 위해선 MS의 전용 프레임워크 '비트넷.cpp'를 사용해야 한다.
한편 엔비디아 AI 칩과 같은 고성능 GPU 없이 AI 모델을 학습시킬 수 있는 기술이 속속 개발되고 있다. 인도 AI 기업인 지로랩스(Ziroh Labs)는 인도 공과대학교 마드라스 캠퍼스와 함께 개발한 AI 플랫폼 '컴팩트 AI(Kompact AI)'를 출시했다.
중소기업이나 AI 스타트업은 GPU를 직접 구매하기에 비용 부담이 크다. 지로랩스가 개발한 컴팩트 AI는 일반 소비자용 CPU 환경에서도 AI를 구축 및 학습, 추론할 수 있도록 지원한다.
지로랩스 흐리시케시 드완 공동 창업자는 "GPU에서 계산할 수 있는 것은 CPU에서도 계산할 수 있다. 중요한 점은 모델 품질이나 정확도를 떨어뜨리지 않고 기존 시스템보다 3배 더 높은 정량적 성능을 제공할 수 있다는 것"이라고 밝혔다.
AI포스트(AIPOST) 유진 기자 aipostkorea@naver.com