웹상 정보를 간편하게 LLM 학습 데이터로…美 파이어크롤, 설립 1년 4개월 만에 200억 모금

미국 인공지능(AI) 스타트업 파이어크롤(Firecrawl)이 설립 1년 4개월 만에 1450만 달러(약 200억원) 규모의 투자금을 유치했다. AI 코딩 스타트업 레플릿(Replit), 전자상거래 플랫폼 업체 쇼피파이(Shopify), 엔비디아, 오픈AI 등 기업들이 파이어크롤에 주목하는 이유는 뭘까. 

파이어크롤은 케일럽 페퍼 최고경영자(CEO), 에릭 시아를라 최고마케팅책임자(CMO), 니콜라스 실버스타인 카마라 최고기술책임자(CTO)가 2024년 4월 설립한 기업이다. 세 사람은 LLM 기반 앱을 개발하는 기업 멘더블(Mendable)에서 함께 근무하며 뜻을 모았다. 

이들은 멘더블에 근무할 당시 AI를 위한 정제되고 구조화된 웹 데이터를 얻는 것이 어렵다는 점을 깨달았다고 한다. 모든 AI 앱이 웹사이트 스크래핑, 구조화된 데이터 추출, 자바스크립스 처리, 속도 제한 처리 등 동일한 과정을 거쳐 구현되고 있었으며, 이를 위해 수천 명의 개발자가 동일한 문제를 각기 다르게 해결하고 있었다고 창업자들은 전했다. 

이에 창업자들은 인프라를 한 번 구축하고 완벽하게 만든 다음, 간단한 API를 통해 AI가 전 세계 정보에 보편적으로 접근할 수 있도록 하는 플랫폼을 만들기로 했다. 이에 파이어크롤은 웹 검색 및 추출을 포함한 전체 툴킷을 통해 웹 데이터를 프로그래밍할 수 있도록 지원하는 제품을 만들었다. 

쉽게 말해 복잡한 과정을 거치지 않고도 개발자들이 웹 상에서 수집한 학습 데이터를 편하게 활용할 수 있도록 돕는 것이다. 건강한 생태계를 만들기 위해 파이어크롤은 웹사이트 소유자, 퍼블리셔, 콘텐츠 제작자들에게도 수익이 분배될 수 있도록 돕는 도구도 개발 중이다. 

제품 출시 이후 개발자들로부터 뜨거운 반응을 얻었다. 현재 35만 명의 개발자가 오픈소스 웹 크롤러를 이용 중이다. 특히 쇼피파이, 오픈AI, 아마존, 엔비디아 등이 파이어크롤의 기술을 활용하고 있다. 나아가 파이어크롤은 최근 진행된 시리즈 A 펀딩 라운드에서 1450만 달러를 유치했다. 

투자에는 와이콤비네이터, 재피어(Zapier), 쇼피파이 CEO, 포스트맨 CEO 등이 참여했다. 넥서스 벤처 파트너스의 아비쉑 샤르마 고문은 "정확하고 포괄적인 웹 데이터는 차세대 AI에 필수적이다. 파이어크롤의 개발자 중심 플랫폼은 이를 간편하고 안정적으로, 대규모로 제공한다"라고 말했다.

페퍼 CEO는 "우리는 지난 1년 동안 15배나 성장했고, 이건 단지 시작일 뿐이다. 재피어, 쇼피파이 등 기업들이 우리를 통해 앱을 개발한다"라며 "AI가 전 세계의 정보에 접근해야 한다고 생각하시는 분, 출판사가 공정한 보상을 받을 자격이 있다고 생각하시는 분, 차세대 AI를 뒷받침하는 인프라를 구축하고 싶으신 분들을 파이어크롤이 도울 것"이라고 했다.