마크 저커버그 "라마 4 훈련에 필요한 컴퓨팅 자원, 라마 3의 10배"

오픈소스 인공지능(AI) 모델 가운데 가장 큰 규모인 라마(Llama)를 개발하기 위해 메타는 앞으로 훨씬 더 많은 컴퓨팅 자원이 필요할 전망이다. 

마크 저커버그 메타 최고경영자(CEO)는 31일(현지시간) 페이스북 모회사 메타 플랫폼의 2분기 실적을 발표하며 "라마 4를 훈련시키려면 라마 3에 투입된 것보다 10배 더 많은 컴퓨팅 자원이 필요하다"라고 밝혔다. 

메타의 라마 모델은 엔비디아의 그래픽처리장치(GPU) H100 1만 6000개를 기반으로 훈련됐다고 알려져 있다. 구체적인 개발 비용이 공개되지 않았지만, H100 칩이 개당 3만~4만 달러(약 4000~5500만원)에 이르는 점을 감안하면 칩 구매에 최소 6000억원이 넘게 소요됐을 것으로 추정된다. 

컴퓨팅 자원이 10배 더 많이 필요할 것으로 예상되는 라마 4를 개발하기 위해서는 5~6조원이 들 수도 있다는 이야기다. 천문학적인 비용이 들지만, 저커버그는 경쟁사보다 뒤처지지 않기 위해 컴퓨팅 자원을 구축하기를 여전히 원하고 있는 것으로 보인다. 

저커버그는 필요할 때 컴퓨팅 자원을 곧바로 구할 수 없기 때문에 늦지 않게 미리 용량을 구축하는 것이 낫다고 판단하고 있다. 수잔 리(Susan Li) 메타 최고재무책임자는 회사가 다양한 데이터센터 프로젝트와 미래 AI 모델을 훈련할 수 있는 역량을 구축하기 위해 여러 가지를 고려하고 있다라고 밝혔다. 

수잔 리는 2025년 자본 지출이 늘어날 것으로 예상한다고 덧붙였다. 수잔 리는 IT 매체 테크크런치와의 인터뷰에서 인도가 챗봇의 가장 큰 시장이라면서도 생성형 AI 제품이 매출을 증대시키는 데 크게 기여할 것이라고 기대하지 않는다라고 언급했다.