지스트 김승준 교수팀, ACM CHI 2024 학술대회 ‘Honorable Mention’ 2건 수상

광주과학기술원(GIST, 총장 임기철)은 융합기술학제학부 김승준 교수 연구팀이 미국 컴퓨터협회(ACM)가 주관하는 인간-컴퓨터 상호작용(HCI) 분야의 권위 있는 국제 학술대회 CHI(Conference on Human Factors in Computing Systems)에서 논문을 발표해 ‘Honorable Mention’을 2건 수상했다고 밝혔다.

김승준 교수 연구팀이 ‘Honorable Mention’을 2건 수상한 ACM CHI 2024 학술대회는 지난 5월 11일부터 16일까지 미국 하와이 호놀룰루에서 열렸다.

김승준 교수가 이끄는 HCIS　연구실(Human-Centered Intelligent Systems Lab.)은 인간-컴퓨터 상호작용(Human-Computer Interaction,　HCI)과 인공지능(AI) 기술을 융합하여 인간과 물리 시스템의 상호작용을 사람 중심으로 설계하고 실증하는 학제간 융합연구를 수행하고 있다.

특히 인공지능이 주도하는 상황해석과 의사결정이 사용자 경험에 영향을 미치는 메커니즘을 해석하고, 사용자 상태, 의도, 맥락을 예측해 선제적인 상호작용에 대한 연구를 중점 수행하고 있다.

김승준 교수 연구팀은 이번 ‘ACM CHI 2024’에서 발표한 3건의 논문 중 2건(ErgoPulse, SYNC-VR)이 ‘Honorable Mention 논문상(5% 이내)'을 수상하며 그 우수성을 인정받았다.

‘Honorable Mention'을 수상한 김승준 교수 연구팀의 첫 번째 연구 성과는 전기 근육 자극(EMS)과 생체역학 시뮬레이션을 통합한 혁신적인 VR 햅틱 피드백 시스템 ‘ErgoPulse’이다.

이 시스템은 사용자의 하체에 실시간으로 힘을 전달하여 VR 환경에서 물리적 상호작용을 실감나게 구현하며, VR 게임과 훈련 프로그램에서의 몰입도를 혁신적으로 향상시킬 수 있다.

‘ErgoPulse’는 기존의 VR 하체 햅틱 피드백 기술이 가지고 있던 여러 한계를 극복하고자 개발됐다. 기존의 하체 햅틱 피드백 시스템은 대체로 크고, 설치가 번거로우며 사용자의 움직임을 제한하는 지상 고정 장치에 의존했다.

이러한 장치들은 다양한 표면 질감의 시뮬레이션에는 효과적이지만, 자유로운 사용자의 움직임을 크게 제약한다. 소형 액추에이터를 사용하는 시스템도 있지만 이들은 전체 하체에 걸친 광범위한 힘을 제공하는 데는 한계가 있다.

ErgoPulse 시스템은 기존 시스템의 단점을 보완해 생체역학 시뮬레이션과 개인화된 EMS를 결합하여 실시간으로 하체 관절에 필요한 토크(Torque)를 계산하고 전달한다.

‘ErgoPulse’은 사용자의 하체 움직임을 보다 자유롭게 하면서도 대규모의 힘을 효과적으로 전달할 수 있는 새로운 가능성을 열었다. 사용자들은 ‘ErgoPulse’가 제공하는 햅틱 피드백이 기존의 EMS 기반 시스템보다 더 정확하고 현실감 있는 경험을 제공한다고 평가했다.

이는 ‘ErgoPulse’가 VR 환경에서의 실감 나는 상호작용을 제공하여 사용자의 몰입도를 크게 향상시킬 수 있음을 시사한다.

또한, ‘ErgoPulse’는 기존 시스템의 물리적 한계와 기술적 트레이드오프(trade-off)를 극복한다. 이 시스템은 가벼운 무게와 낮은 전력 사용, 그리고 즉각적인 반응성을 유지하면서도 사용자의 하체에 큰 규모의 힘을 제공할 수 있는 기술적 진보를 이루었다.

김승준 교수는 “이번 연구 성과의 VR 기술은 일상생활, 훈련, 교육 등 다양한 분야에서 더욱 실용적이고 효과적으로 활용될 수 있는 길을 열었다”며 “ErgoPulse는 현실 세계에서 인간-로봇 상호작용을 위한 활용이 가능하여 향후 산업 및 로보틱스 분야로의 확장성이 기대된다”고 말했다.

김승준 교수 연구팀은 2021년부터 GIST-매사추세츠공과대학(MIT) CSAIL 공동연구사업의 일환으로 VR 내 실감 제공을 위한 다양한 인터페이스 기술 개발과 멀티모달(Multi Modal) 기반 사용자 경험을 증진시키는 로보틱스 기술 개발에 중점을 두고 연구를 진행하고 있다.

이번 연구는 2024년 인간중심 물리 시스템 설계를 위한 HCI + AI 융합연구(GIST-MIT 공동연구사업)와 인공지능 기반 메타버스 구현을 위한 융복합 문화 가상 스튜디오 사업의 지원을 받아 진행됐다.

김승준 교수 연구팀은 자율주행 차량이 여행 중 승객의 편안함과 오락을 극대화하는 것을 새로운 도전과제로 삼고 혁신적인 가상현실 시스템 ‘SYNC-VR’을 제안해 역시 ‘Honorable Mention’을 수상했다.

급변하는 미래 모빌리티 속에서 기술 혁신은 우리가 여행을 경험하는 방식을 계속해서 변화시키고 있다. 자율주행 차량은 이 변화의 최전선에 있으며, 승객에게 운전과 무관한 다양한 활동에 몰두할 수 있는 자유를 제공한다.

‘SYNC-VR’은 자율주행 차량의 승객이 자주 경험하는 멀미(motion sickness)를 해결하는 접근 방식으로 연구의 참신성을 높게 평가받았다.

‘SYNC-VR’은 시각적, 촉각적, 청각적, 그리고 고유감각적 피드백을 실제 차량 움직임과 동기화하여 멀미 해결에 접근한다. 이러한 동기화는 승객들이 멀미를 느끼는 불편함 없이 몰입감 있는 VR 환경을 즐길 수 있게 돕는다.

‘SYNC-VR’은 다양한 감각 입력을 통합하여 자율주행 차량의 움직임을 기반으로 실감 VR 경험을 제공하며, 시각적 단서, 고유감각 피드백, 촉각적 피드백, 청각적 단서 등 4개의 주요 기능이 특징이다.

이번 연구에서는 실제 주행 상황과 같은 회전 및 가속, 울퉁불퉁한 도로(예, 과속 방지턱)와 일관성 없는 움직임(예, 일시 정지 후 출발)을 선정하여 실제 도로 위 주행 상황에서 ‘SYNC-VR’의 효과를 검증했다.

김승준 교수는 “SYNC-VR은 여행 오락과 편안함을 크게 개선하는 미래 기술로서, 앞으로 자율주행 차량이 더욱 보편화됨에 따라 SYNC-VR과 같은 몰입 기술의 통합은 차내 승객 경험을 재정의하는 데 중추적 역할을 할 것으로 기대된다”고 밝혔다.

김승준 교수 연구팀은 2024 대한민국 과학축제에서 ‘SYNC-VR’의 체험 중심의 기술 개발 성과물을 선보이기도 했다.

‘SYNC-VR’ 연구는 2024년 인간중심 물리 시스템 설계를 위한 HCI + AI 융합연구(GIST-MIT 공동연구사업), GIST AI기반 융합인재 양성 지원사업, 과학기술정보통신부의 인간중심 게임 인공지능 기초연구실 과제로부터 지원받아 진행됐다.