수어 퍼포먼스를 시각으로 즐기는 공감각적 융복합 공연
광주과학기술원(GIST, 총장 임기철) 연구팀이 음악의 리듬과 선율을 피부로 느낄 수 있는 ‘햅틱 밴드’를 개발, 배리어프리 공연을 통해 첫 선을 보였다. 음악의 리듬을 피부로 느낄 수 있을 뿐 아니라 수어 퍼포먼스를 시각으로 즐기는 공감각적 융복합의 특별한 공연이 됐다는 반응이 나오고 있다.
GIST 융합기술학제학부 소속 ‘팀 지스트(team GIST, 연구책임자: 홍진혁 교수)’는 ‘청각장애인의 음악 향유를 위한 음악·댄스 실감가시화 기술 개발(주관기관 GIST, 공동연구기관 ㈜씨케이머티리얼즈랩, 한국과학기술원(KAIST), 세종대학교, ㈜핸드스피크)’과제의 성과물인 ‘햅틱 밴드’를 관람객들이 특별한 공연을 즐길 수 있도록 지원했다.
본 연구과제는 지난 2021년 6월부터 올해 12월 말(2년 7개월)까지 진행되며, 이번 공연에서 사용성에 대한 프로토타입(Prototype)을 검증하기 위해 신청자 8명이 햅틱 밴드를 착용하고 공연을 관람했다.
햅틱 밴드는 외부 공연 음악(사운드)을 감지해 엔벨롭 팔로어(Envelope follower, 최저음 분석), 트랜션트(Transient, 리듬 시작 부분), BPM(음악의 빠르기) 등의 요소를 분석하여 햅틱의 강도와 진동수로 변환해주는 장치이다. 수어 공연이 전달하는 리듬감을 더 풍부하게 전달하기 위해 리듬 중심으로 사운드 분석-진동 변환을 하여 공연 감상을 지원하는 도구로 활용되고 있다.
홍진혁 교수는 “이번 공연은 청각이 아닌 감각으로 음악을 경험하도록 지원한다는 점뿐만 아니라 수어를 통해 음악의 분위기, 가사, 리듬감을 표현하는 ‘농문화’의 음악 장르에 참여한다는 점에서 뜻깊었다”고 말했다.
후속 연구 계획으로 현재 ETRI가 주관인 ‘정보통신기획평과원(IITP) , 청각장애인을 위한 다감각 음악 실감시스템 및 교육 솔루션 개발’ 공동연구기관으로 참여하고 있으며, 청각장애인의 음악 교육 콘텐츠로 확장·실증할 예정이다.
AI포스트(AIPOST) 윤영주 기자 aipostkorea@naver.com