입력 2026.05.12 11:22
- 싸이·비비·씨엔블루·권진아 등 다채로운 아티스트 공연 펼쳐져
연세대학교(총장 윤동섭) 전기·전자공학과 유기준, 황도식 교수와 한국외국어대학교 바이오메디컬공학부 강교원 교수를 포함한 국제 공동 연구팀은 완전 무선 구조의 반지형(AI 기반) 수화 번역 시스템을 개발했다. 본 기술은 손의 자연스러운 움직임을 유지한 상태에서 수화를 텍스트로 실시간 변환할 수 있는 차세대 웨어러블 인간-기계 인터페이스 기술로, 기존 수화 번역 시스템의 구조적 한계를 근본적으로 해결한 연구로 평가된다.
수화는 청각 및 언어 장애인을 위한 핵심 의사소통 수단이지만, 비수어 사용자와의 소통에는 큰 장벽이 존재한다. 기존 수화 번역 기술은 카메라 기반 비전 시스템 또는 장갑형 웨어러블 장치 중심으로 발전해 왔으나, 조명 환경, 가림 현상, 복잡한 배선 구조, 착용 불편성 등의 문제로 실제 환경에서의 활용에 제한이 있다. 특히 장갑형 시스템은 사용자 손 크기와 구조 차이를 반영하기 어려워 정확도가 저하되며, 센서 간 유선 연결 구조는 손의 자유로운 움직임을 제한하는 주요 원인으로 지적됐다.
본 연구팀은 이러한 문제를 해결하기 위해 각 손가락에 독립적으로 착용할 수 있는 반지형(conformal ring-type) 웨어러블 디바이스를 제안했다. 해당 디바이스는 유연한 기판 위에 제작되어 손가락 표면에 밀착(conformal contact)되도록 설계됐으며, 사용자의 손 크기나 형태와 관계없이 안정적으로 부착될 수 있다. 이를 통해 기존 장갑형 구조 대비 착용감과 적응성을 크게 향상했으며, 장시간 사용에도 부담이 적은 것이 특징이다.
각 반지에는 3축 가속도 센서, 전력 관리 회로, 블루투스 통신 모듈이 통합돼 있으며, 손가락의 기울기 및 동작 변화를 실시간으로 정밀 측정할 수 있다. 특히 모든 센서는 블루투스 멀티 링크 기반 완전 무선 구조로 동작해, 센서 간 물리적 연결선 없이도 동시에 데이터를 전송할 수 있다. 이와 같은 구조는 기존 시스템에서 발생하던 기계적 제약을 제거하여, 사용자가 실제 수화 동작을 자연스럽게 수행할 수 있도록 한다.
소프트웨어 측면에서 본 시스템의 핵심은 웨어러블 링에서 측정된 복합적인 손동작 데이터를 실시간으로 해석하는 딥러닝 기반 다중 모드 정보 융합 알고리즘에 있다. 이 알고리즘은 각 손가락에서 수집된 시계열 동작 데이터를 입력으로 받아, 신호 전처리 과정을 통해 노이즈를 제거하고 특징을 정제한 뒤, 인공지능 모델을 통해 수어의 의미를 추론한다. 특히 본 모델은 사용자별 차이를 최소화하기 위해 데이터 정규화 및 일반화 학습을 수행해, 특정 사용자에 종속되지 않는 사용자 독립형(user-independent) 인식 구조를 구현했다.
또한 시간에 따라 연속적으로 변화하는 손동작을 효과적으로 분석하기 위해 시계열 기반 학습 구조를 적용했으며, 이를 통해 단어 단위 인식을 넘어 문장 단위 번역까지 가능하도록 설계됐다. 특히 연속적인 수화 동작을 자동으로 분할하고 의미 있는 단어 시퀀스로 재구성하는 ‘Sequential Word Detection Framework’를 적용함으로써 더 자연스러운 문장 생성이 가능하게 했다.
실험 결과, 본 시스템은 미국 수화(ASL) 및 국제 수화(ISL)를 포함한 총 200개의 단어를 학습하고, 학습에 참여하지 않은 사용자에 대해서도 약 88% 이상의 높은 인식 정확도를 달성했다. 이는 사용자별 보정 없이도 안정적인 성능을 유지할 수 있음을 의미하며, 실제 환경에서의 활용 가능성을 입증한 결과다.
특히 기존 무선 수화 번역 시스템들이 제한된 단어 수와 특정 사용자에게 의존하는 구조를 갖지만, 본 연구는 대규모 어휘, 사용자 독립성, 완전 무선 구조를 동시에 달성함으로써 기술적 완성도를 크게 향상했다. 이는 단순한 실험적 시스템을 넘어 실제 응용 가능한 수준의 수화 번역 플랫폼으로 발전할 수 있음을 보여준다.
연세대 유기준 교수는 “이 기술이 단순한 웨어러블 디바이스를 넘어, 청각장애인과 비청각장애인 사이의 의사소통 장벽을 낮추는 새로운 소통 플랫폼이 될 수 있다고 생각한다. 지금까지 많은 청각장애인들이 사회 속에서 의사소통의 어려움을 겪어왔는데, 보다 자연스럽고 실용적인 방식으로 그 간극을 줄이고자 했다.
또한 이 기술이 향후 수화 번역을 넘어 다양한 인간-기계 인터페이스(Human-Machine Interface), 웨어러블 AI, 디지털 헬스케어, 그리고 음성 기반 통신이 어려운 극한 환경에서의 차세대 의사소통 시스템으로까지 확장될 수 있다고 생각한다”라고 말했다.
연세대 황도식 교수는 “수화는 단순한 동작 인식을 넘어 시간에 따라 연속적으로 변화하는 패턴을 해석하는 것이 핵심이므로, 이를 효과적으로 처리할 수 있는 알고리즘 설계가 매우 중요하다”며 “본 연구에서는 웨어러블 디바이스로부터 획득된 시계열 손동작 데이터를 기반으로 딥러닝 기반 다중 모드 정보 융합 알고리즘을 적용해, 사용자별 차이에 영향받지 않는 안정적인 인식 구조를 구현했다”라고 설명했다.
제 1저자인 박재진(연세대/Georgia Institute of Technology 박사후연구원) 연구원과 신예지(연세대 전기전자공학과 통합과정) 연구원은 “딥러닝 기반 알고리즘을 통해 사용자 개인에 의존하지 않는 안정적인 수화 인식과 문장 단위 번역을 구현한 것이 핵심”이라고 전했다.
본 연구는 박재진 연구원 (제1 저자, 연세대/Georgia Institute of Technology), 신예지 연구원 (제1 저자, 연세대), 유기준 교수 (교신, 연세대), 황도식 교수 (교신, 연세대), 강교원 (교신, 한국외대) 연구팀의 협업을 통해 진행됐으며, 사이언스(Science)지 자매지이자 국제 융합연구 최고 권위지인 사이언스 어드밴시스 (Science Advances, Impact Factor: 12.5)에 최종 게재됐다. 본 연구는 한국연구재단의 중견연구사업, 바이오의료기술개발사업, 기초연구실지원사업, 삼성미래기술육성재단의 삼성미래기술육성사업의 지원받아 수행됐다.