GIST, ‘청각장애인의 음악 감상’ 돕는 실감가시화 콘텐츠 실증 리빙랩 운영

광주과학기술원(GIST, 총장 임기철)은 융합기술학제학부 소속 ‘팀 지스트(team GIST, 홍진혁(연구책임자)·김경중·이지현 교수)’가 11월 한 달간 청각장애인의 음악 경험을 위한 리빙랩(Living Lab, 생활 실험실)을 성공적으로 운영했다고 밝혔다.

‘팀 지스트’ 연구팀은 청각장애인 비영리 컨퍼런스 및 청각장애인 복지관에서 청각장애인의 음악 향유를 지원하는 체험 부스를 마련하고 연구 성과물에 대한 실증 서비스를 실시했다.

‘팀 지스트’는 지난 11월 4일(토) 청각장애인(농·난청인)과 비청각장애인이 함께 어울리는 비영리 컨퍼런스 ‘2023 소통이 흐르는 밤’에 참가해 120여 명의 시민과 함께 청각장애인을 위한 연구 성과물을 공유했다.

또한 11월 6일(월)부터 16(목)까지 약 2주간 시립 서대문 농아인 복지관과, 11월 18일(토)부터 24일(금)까지 약 1주간 복지관 내 청각장애인 이용자를 대상으로 리빙랩(부스 및 아카데미 운영) 운영을 통해 5개의 성과물에 대한 실증을 모두 성공적으로 마쳤다.

이번에 현장 실증한 프로그램은 수어 노래 콘텐츠 제작을 위해 소리를 보고 만지고 느끼고 만들어 보는 음악 도구인 멀티모달 신디사이저, 음악보다 시각적 효과를 강조하는 멀티미디어 콘텐츠 경험을 위한 시각 중심의 햅틱 저작 도구인 멀티미디어 햅틱 디자인 도구, 다양한 소리 캐릭터와 함께하는 음악 교육 및 악기 연주 프로그램인 Viz-stage 음악 교육 도구, 가사가 있는 어떠한 노래를 수어 댄스로 생성해 주는 AI 수어 댄서, 시‧촉각을 통해 음악을 즐기는 댄스 게임인 댄스 with 저스트댄스이다.

‘2023 소통이 흐르는 밤’과 두 곳의 복지관을 찾은 청각장애인이 ‘팀 지스트’ 부스의 다양한 프로그램을 직접 체험하며 기존 음악을 대체 감각으로 이해하여 음악 가사를 수어로 변환해 수어 음악을 만들기도 했으며, 햅틱 진동 팔찌를 착용하고 화면에 나오는 댄서의 춤을 따라 하는 게임에도 참여하며 능동적으로 음악을 즐기는 시간을 가졌다.

홍진혁 교수는 “이번 실증은 실제 복지관을 찾아가 청각장애인 이용자를 대상으로 연구 성과물이 현장에서 어떻게 활용될 수 있는지를 생생하게 경험할 수 있는 좋은 기회가 되었다”며, “특히 청각장애인 사용자가 단순히 음악을 수동적으로 전달받는 것이 아니라 수어를 통한 음악 저작 및 감상 활동으로 음악을 좀 더 친숙하게 적극적으로 즐길 수 있다는 피드백이 많아서 뿌듯했다”고 말했다.

한편 ‘팀 지스트(team GIST)’는 ‘청각장애인의 음악 향유를 위한 음악·댄스 실감가시화 기술 개발’과제를 수행하고 있다.

‘팀 지스트’는 연구 성과물을 지속적으로 발전시키고 확장하는 데 주력할 계획이다. 최근 청각장애인을 위한 전문적인 재활 치료 센터를 보유한 ‘소리의원’과 양해각서(MoU)를 체결하고, 이번 과제의 성과물이 실제 현장에서 지속적으로 실증되고 업데이트되는 것을 목표로 긴밀히 협력할 예정이다.

또한, 청각장애인 지원기관 및 관련 커뮤니티와의 지속적인 소통을 통해 청각장애인의 요구와 피드백을 더욱 깊이 이해하고 이를 반영한 연구를 발전시켜 청각장애인이 음악을 통해 더 풍부한 감정적, 사회적 경험을 할 수 있도록 지원할 계획이다.