AI로 베낀 숙제 잡아낸다…구글, 텍스트용 워터마크 '신스ID' 오픈소스로 공개

과제, 자기소개서 등에 생성형 인공지능(AI) 도구를 사용했는지 가릴 수 있는 기술이 오픈소스로 공개됐다.  

구글은 최근 AI 플랫폼 허깅페이스와 깃허브을 통해 AI가 생성한 텍스트를 감지하는 도구인 '신스ID 텍스트(SynthID Text)'를 오픈소스로 공개했다. 이에 신스ID 텍스트는 개발자와 기업들이 무료로 사용할 수 있게 됐다. 개발자들은 이 모델을 통해 워터마크를 삽입할 수도 있다. 

AI가 작성한 텍스트를 어떻게 감지할 수 있을까. 구글의 생성형 AI인 제미나이는 문장을 작성하면서 특정 단어 뒤에 어떤 단어가 나오는지를 예측하는 식으로 글을 쓴다. 이때 단어들을 '토큰'이라고 부른다. 신스ID 텍스트는 토큰 뒤에 어떤 단어가 올 수 있는지 예측한다. 

각 토큰에 점수를 할당하고, 이는 출력된 텍스트에 포함될 확률의 백분율이다. 토큰이 선택되는 최종 점수 패턴과 조정된 확률 점수를 합쳐 AI 도구가 텍스트를 생성했는지 또는 다른 출처에서 왔는지를 감지하는 방식이다. 쉽게 말해 특정 단어 뒤에 어떤 단어가 나오는지를 확률로 평가하는 것이다. 

구글은 올해 봄부터 신스ID 텍스트의 성능을 연구해왔다. 그 결과 신스ID 텍스트가 중간에 잘린 문장이나 의역되거나, 수정된 텍스트에서도 제 기능을 할 수 있는 것으로 나타났다. 그러나 짧은 글, 번역한 글에 대한 감지율은 높지 않다고 한다. 

구글 측은 "신스ID의 텍스트 워터마킹 기술은 대부분의 AI 텍스트 생성 모델과 호환되고 다양한 콘텐츠 유형과 플랫폼에서 확장할 수 있도록 설계됐다"라며 "AI에서 생성된 콘텐츠의 광범위한 오용을 방지하기 위해 이 기술을 더 광범위한 AI 생태계로 가져오기 위해 노력하고 있다"라고 했다. 

한편 AI가 생성한 텍스트를 감지하는 기술을 개발한 기업은 구글 뿐만이 아니다. 오픈AI도 챗GPT를 사용해 텍스트를 작성했는지 탐지할 수 있는 기술을 이미 개발한 것으로 알려졌다. 그러나 이용률이 급감할 수 있다는 우려에 공개하지 않고 있다는 의혹도 일고 있다.