미국 수어(American Sign Language)는 미국에서 세 번째로 널리 사용되는 언어이지만, 미국에서 가장 널리 사용되는 언어인 영어와 스페인어를 대표하는 데이터에 비해 ASL 데이터로 개발된 AI 도구는 현저히 적습니다. (수어는 수화라는 방법으로 구사되는 언어 체계 그 자체를 의미함)
NVIDIA, 미국 청각장애 아동 협회, 크리에이티브 에이전시 Hello Monday는 ASL 학습과 접근 가능한 AI 애플리케이션 개발을 지원하기 위해 구축된 대화형 웹 플랫폼인 Signs를 통해 이러한 격차를 해소하는 데 도움을 주고 있습니다.
수어 학습자는 플랫폼의 검증된 수어 라이브러리에 액세스하여 수어를 시연하는 3D 아바타의 도움을 받아 어휘력을 확장하고, 웹캠 영상을 분석하는 AI 도구를 사용하여 자신의 수어에 대한 실시간 피드백을 받을 수 있습니다. 모든 수준의 수어 사용자는 특정 단어를 수화함으로써 ASL용 비디오 데이터 세트 구축에 기여할 수 있습니다.
NVIDIA는 1,000개의 수 단어를 나타내는 40만 개의 비디오 클립으로 확장하는 것을 목표로 하고 있는 이 데이터 세트는 유창한 ASL 사용자와 통역사가 각 수화의 정확성을 검증하여 고품질의 시각적인 사전과 교육 도구로 완성시키고 있습니다.
“대부분의 청각장애 아동은 청각장애인 부모에게서 태어납니다. 가족 구성원에게 수어 학습을 조기에 시작할 수 있는 Signs와 같은 도구를 제공하면 생후 6~8개월의 어린 자녀와 효과적인 의사소통 채널을 열 수 있습니다.”라고 미국 청각장애아동협회 전무이사 Cheri Dowling은 이러한 교육 플랫폼이 가져다 줄 효과에 대해 설명했습니다. “또한 전문 수어 교사가 플랫폼의 모든 어휘를 검증했기 때문에 사용자는 학습 내용을 믿고 신뢰할 수 있습니다.”
NVIDIA 팀은 이 데이터 세트를 사용하여 청각장애인과 청각장애인의 의사소통 장벽을 허무는 AI 애플리케이션을 더욱 개발할 계획입니다. 이 데이터는 AI 에이전트, 디지털 휴먼 애플리케이션, 화상 회의 도구 등 접근 가능한 기술을 구축하기 위한 리소스로 일반에 공개될 예정입니다. 또한 실시간 AI 기반 지원과 피드백을 통해 생태계 전반에서 수화 학습 효과를 개선하고 수어 플랫폼을 활성화하는 데 사용될 수 있습니다.
수어 교육 지원, 언어의 뉘앙스 탐구하기
데이터 수집 단계에서 Signs는 이미 수어 언어 습득을 위한 강력한 플랫폼을 제공하여 개인이 100개의 초기 수어를 배우고 연습할 수 있는 기회를 제공함으로써 수어를 사용하는 친구나 가족과 보다 효과적으로 의사소통할 수 있도록 지원합니다.
“수어 학습 플랫폼은 청각장애 자녀를 둔 가족이 특정 단어를 빠르게 검색하고 해당 수어를 쓰는 방법을 확인할 수 있도록 도와줍니다. 공식적인 수업 외의 일상적인 수어 사용을 지원하는 데 도움이 될 수 있는 도구입니다.”라고 Dowling은 말합니다. “아이와 부모 모두 이 도구를 탐색하는 것을 봤는데요, 아마 그들은 함께 놀 수 있을 것 같습니다.”
현재 Signs는 각 기호에 대한 손의 움직임과 손가락 위치에 초점을 맞추고 있지만, ASL은 얼굴 표정과 머리 움직임도 통합하여 의미를 전달합니다. Signs 팀은 향후 버전의 플랫폼에서 이러한 비수동 신호를 추적하고 통합할 수 있는 방법을 모색하고 있습니다.
또한 지역적 차이와 속어와 같은 다른 뉘앙스를 Signs에 어떻게 표현하여 ASL 데이터베이스를 강화할 수 있을지 연구하고 있으며, 로체스터 공과대학의 접근성 및 포용성 연구 센터의 연구원들과 협력하여 청각 장애인을 위한 Signs 플랫폼의 사용자 경험을 평가하고 더욱 개선하기 위해 노력하고 있습니다.
“수어 접근성을 개선하는 것은 지속적인 노력입니다.”라고 Signs 웹 플랫폼을 구축하고 이전에 미국 청각장애아동협회와 협력하여 사용자에게 수어 알파벳을 가르치는 애플리케이션인 Fingerspelling.xyz를 개발한 Hello Monday/DEPT의 창립 파트너인 Anders Jessen이 답했습니다. “Signs는 청각 장애인과 청각 장애인 커뮤니티 간의 의사소통 장벽을 뛰어넘는 데 도움이 되는 고급 AI 도구의 필요성을 충족시킬 수 있습니다.”
Signs의 기반이 되는 데이터 세트는 올해 말 출시될 예정입니다.
signs-ai.com에서 Signs에 대한 학습 또는 기여를 시작하고, NVIDIA의 ‘신뢰할 수 있는 AI’ 이니셔티브에 대해 자세히 알아보세요. 또한 3월 17일부터 21일까지 산호세에서 개최되는 글로벌 AI 컨퍼런스인 NVIDIA GTC 참석자는 행사 현장에서 실시간으로 Signs에 참여할 수 있습니다.