앤트로픽은 28일 자사의 클로드 모델이 해킹에 악용되고 있으며, 북한 공작원들이 외화벌이 수단으로까지 이용하고 있다고 밝혔다.
앤트로픽이 공개한 8월 위협 인텔리전스 보고서에 따르면 클로드는 해커들의 의해 의료, 응급 서비스, 정부 및 종교 기관을 포함해 최소 17개 기관을 대상으로 한 대규모 사이버 범죄에 사용됐다. 해커들은 에이전틱 코딩 도구를 이용해 민감한 기록들을 빼내 갔다.
해커들은 피해자들에게 50만 달러가 넘는 자금을 요구하기 위해 데이터를 공개하겠다고 위협했다고 한다. 특히 어떤 데이터를 유출할지, 금품 요구 조건을 어떻게 작성할지 등 전술적, 전략적 결정을 내리는 데 AI 모델 클로드가 활용됐다.
앤트로픽은 해당 작전을 발견하자마자 문제의 계정을 차단했다. 또한 맞춤형 분류기(자동 검사 도구)를 개발하고, 향후 이와 같은 활동을 최대한 빨리 발견할 수 있도록 새로운 탐지 방법을 도입했다.
앤트로픽은 특히 AI 모델 클로드가 북한과 중국에서도 악용됐다고 전했다. 북한 공작원들이 클로드를 사용해 미국의 포춘 500(Fortune 500) 기술 기업에서 가짜 원격 고용 직위를 확보한 사례도 발견됐다고 전해졌다. 이들은 AI를 활용해 그럴듯한 전문 경력을 가진 가짜 신원을 만들었다.
또 클로드로 취업 지원 과정에서 기술 평가를 수행하는가 하면, 채용 후에는 실제 기술 업무를 AI로 수행했다. 이 계획이 국제 제재를 무시하고 북한 정권의 외화벌이 수단으로 설계됐다고 앤트로픽은 밝혔다. 앤트로픽은 해당 활동을 발견하자마자 관련 계정을 즉시 차단다. 이후 이 사기의 알려진 징후를 수집, 저장 및 상관관계 분석하는 도구를 개선했다.
또한 앤트로픽은 조사 결과를 관련 당국에 공유했으며, 앤트로픽 서비스를 이용한 사기 시도를 지속적으로 모니터링할 것이라고 밝혔다. 중국 관련 해커들이 지난 9개월 동안 클로드를 이용해 베트남 주요 통신사와 농업 관리 시스템, 정부 데이터베이스를 침투한 사실도 드러났다.
이러한 사례가 해커들이 고급 AI 기능을 어떻게 악용하는지 보여주는 것이며 AI가 생성한 공격은 방어에 실시간으로 대응하며 공격 대상의 가장 효과적인 활용 및 수익화 전략까지 스스로 결정한다고 강조했다.
앤트로픽은 "저희는 모델의 이러한 유해한 사용을 탐지하고 완화하는 방법을 지속적으로 개선하기 위해 최선을 다하고 있다. 이 보고서가 업계, 정부, 그리고 더 넓은 연구 커뮤니티를 대상으로 AI 시스템 악용에 대한 자체적인 방어 체계를 강화하는 데 도움이 되기를 바란다"라고 했다.
AI포스트(AIPOST) 유진 기자 aipostkorea@naver.com