구글 클라우드, 버텍스 AI 업데이트 대거 발표…"엔터프라이즈에 가장 적합한 생성형 AI 플랫폼"
컨텍스트 캐싱·프로비저닝 처리량 등 모델 성능 및 비용 최적화 기능 공개 그라운딩 기능으로 모델 답변 정확도 향상…타사 데이터 그라운딩 서비스 제공 예정
구글 클라우드가 자사의 기업용 AI 플랫폼 ‘버텍스 AI(Vertex AI)’의 모델과 엔터프라이즈 기능 업데이트를 대거 발표했다. 기업은 모델 조정, 증강, 커스터마이징, 확장성, 신뢰성, 보안 등 버텍스 AI가 제공하는 혁신적인 기능을 바탕으로 강력한 AI 에이전트(AI agent)를 더 빠르게 구축할 수 있을 예정이다.
구글 클라우드는 지난 5월 프리뷰 버전으로 선보였던 ‘제미나이 1.5 플래시(Gemini 1.5 Flash)’를 공식 출시했다. 제미나이 1.5 플래시는 짧은 지연 시간과 가격 경쟁력, 획기적인 100만 토큰 컨텍스트 윈도(context window)를 결합해 리테일 기업의 채팅 에이전트부터 문서 처리, 전체 데이터를 통합 분석할 수 있는 리서치 에이전트에 이르기까지 대규모 사례에 광범위하게 사용될 수 있다.
특히 제미나이 1.5 플래시는 성능, 지연 시간, 비용 효율성 면에서 GPT-3.5 터보(GPT-3.5 Turbo)를 비롯한 동급 모델 대비 강력한 이점을 제공하며 많은 고객의 선택을 받고 있다. 제미나이 1.5 플래시는 GPT-3.5 터보 대비 60배가량 더 긴 100만 개의 토큰 컨텍스트 윈도를 제공하며, 1만 자 입력 기준 평균 40% 더 빠른 속도를 자랑한다. 또한 3만2000자 이상 입력 시 컨텍스트 캐싱(context caching) 기능으로 GPT-3.5 터보 대비 입력 비용을 최대 4배 절감시켜 준다.
최대 200만 개의 토큰 컨텍스트 윈도를 지원하는 ‘제미나이 1.5 프로(Gemini 1.5 Pro)’ 역시 정식 버전으로 출시돼 다른 모델에서는 처리하기 어려운 다양한 멀티모달(multimodal) 사례를 지원한다. 일반적으로 6분 분량의 동영상을 분석하려면 10만 개 이상의 토큰이 소요되며, 대규모 코드 베이스의 경우 100만 개 이상의 토큰이 소요된다.
구글 클라우드는 수많은 코드 라인에서 버그를 찾거나 연구 자료에서 필요한 정보를 검색하고, 몇 시간 분량의 오디오 및 동영상을 분석하는 등 다양한 영역에서 기업이 제미나이 1.5 프로를 활용해 혁신할 수 있도록 지원한다. 구글 클라우드는 고객이 제미나이 1.5 프로 및 제미나이 플래시 모델의 방대한 컨텍스트 윈도를 효율적으로 활용할 수 있도록 해당 모델에 컨텍스트 캐싱(context caching) 기능을 프리뷰 버전으로 제공한다.
컨텍스트의 길이가 증가하면 애플리케이션에서 응답을 얻는 데 많은 시간과 비용이 소요돼 실제 운영 환경 배포에 어려움을 겪을 수 있다. 버텍스 AI 컨텍스트 캐싱(Vertex AI context caching)은 자주 사용하는 컨텍스트의 캐시 데이터를 활용해 고객이 최대 76%까지 비용을 대폭 절감할 수 있도록 돕는다. 컨텍스트 캐싱 API를 제공하는 업체는 현재 구글 클라우드가 유일하다.
구글 클라우드는 버텍스 AI에서 제공되는 엄선된 자사 모델과 오픈 모델, 타사 모델 제품군을 통해 고객에게 선택권과 혁신을 지원하는 데 최선을 다하고 있다. 최근에는 앤트로픽(Anthropic)이 새롭게 출시한 ‘클로드 3.5 소넷(Claude 3.5 Sonnet)’을 버텍스 AI에 추가했으며, 고객은 구글 클라우드 환경에서 클로드 3.5 소넷으로 테스트를 진행하거나 운영 환경에 배포할 수 있다.
올 하반기에는 미스트랄(Mistral)과의 파트너십 또한 한층 강화하며 미스트랄 스몰(Mistral Small), 미스트랄 라지(Mistral Large), 미스트랄 코드스트랄(Mistral Codestral)을 버텍스 AI의 모델 가든(Model Garden)에서 제공할 예정이다.
이 밖에도 구글 클라우드는 제미나이 모델 개발에 활용된 동일한 연구 기술을 바탕으로 구축한 초경량의 최첨단 오픈 모델 제품군 젬마(Gemma)의 후속 모델을 발표했다. 전 세계 연구자와 개발자를 대상으로 공식 출시된 ‘젬마 2(Gemma 2)’는 90억 개(9B)와 270억 개(27B) 파라미터 사이즈로 제공된다. 이전 버전보다 훨씬 더 강력하고 효율적이며, 개선된 보안 기능이 내장됐다. 이번 달부터 버텍스 AI에서 젬마 2를 이용할 수 있다.