AI로 134년 된 보로부두르 사원 부조물 사진, 3D로 변환했다

일본의 한 연구진이 인공지능(AI)을 활용해 134년 전에 찍은 부조물 사진을 3D 사진으로 변환해 화제를 모으고 있다. 훼손된 부조물 사진만으로 유물의 깊이감을 제대로 구현했다는 평가가 나온다.

일본 리쓰메이칸대는 베이징 과학기술대와 함께 2D 사진을 3D 모델로 변환하는 새로운 신경망을 개발했다고 발표했다. 특히 이 기술은 숨겨져 있거나 발굴하기 어려운 유물 사진을 3D로 변환하는 데 특화돼 있다는 설명이다.

기존 개발된 최신 3D 스캐닝 기술로도 옛 사진을 디지털 방식으로 변환할 수 있다. 그러나 유물이나 부조물이 손상되기 전 모습으로 복원하는 것은 쉽지 않다. 이를 복원하는 과정은 매우 어렵고, 인간의 수동 작업과 전문 지식이 필요하다. 

이같은 한계를 극복하기 위해 연구진은 오래된 사진을 사용해 부조물의 3D 재구성 및 디지털 보존을 위한 혁신적인 다중 작업 신경망을 개발했다. 가장자리 감지 접근 방식을 사용해 깊이를 추정했다는 게 연구진의 설명이다. 연구진이 해당 기술로 변환한 사진은 인도네시아의 보로부두르 사원의 한 부조물이 찍힌 사진이다. 

인도네시아의 유네스코 세계문화유산인 보로부두르 사원은 750~842년 건설된 세계 최대 불교 사원이다. 세계 3대 불교 성지로 꼽힌다. 사원은 정사각형 기단 위에 검은색 화산암을 쌓아 올린 구조물로, 벽면에는 불교 사상을 전하는 부조 1460개가 새겨진 것으로 알려져 있다. 

이번에 3D로 변환된 부조물에는 나무와 고대 건축물을 배경으로 전통 의상을 입은 사람들이 묘사돼 있다. 이 부조물 사진은 19세기에 진행된 재건 작업 중에 촬영됐다. 잠깐 공개된 이후 보강 벽으로 덮어졌다.

수년간 이 작품을 디지털로 재구성하려는 시도가 이어졌지만, 복잡한 세부 사항과 깊이를 추정하는 데 있어 어려움을 겪어 복원 작업이 중단됐다. 특히 얼굴과 장식을 자세하게 재구성하는 데 필요한 질감과 윤곽을 끌어내는 것이 거의 불가능했다. 

일본 연구진이 고안한 AI 기술로 이러한 과제를 극복할 수 있었다고 한다. 미묘한 곡률 변화를 식별할 수 있기 때문에 인물의 섬세한 질감과 모양을 구현할 수 있다는 설명이다. 부드러운 모서리를 분석함에 따라 2D 사진에서 보이는 얕은 변화만을 해석하는 것이 아니라 부조의 실제 구조를 더 잘 식별하게 됐다.

연구를 주도한 사토시 타나카 교수는 "보로부두르 사원 부조물의 숨겨진 부분을 성공적으로 재구성했다"라며 "컴퓨터 시각화와 가상 현실을 통해 우리의 연구는 이제 보이지 않는 유물에 대한 가상 탐험도 가능하게 한다"라고 했다.