딥 러닝, 보청기를 재창조해내다

오하이오 주립 대학(Ohio State University)의 컴퓨터 과학 및 공학 교수인 데량 왕(DeLiang Wang)은 그의 어머니가 청력을 잃기 시작한 1980년대에 대학을 다니고 있었습니다. 왕교수의 어머니는 보청기를 통해서라도 대화에 참여하고자 노력하지만 대가족과 함께 하는 저녁 식사는 대개 좌절스럽고, 고단했습니다.

보청기의 효과가 미미하기 때문에 왕의 어머니는 거의 그것을 착용하지 않았고, 그녀가 91세가 되었을 때에는 귀먹은 사람과 다름 없었다고, 왕교수는 이야기합니다. 최근 왕교수는 GPU와 딥 러닝 덕분에 보다 나은 보청기를 제작하고 있습니다.

보청기가 필요한 사람들의 75 % 이상이 보청기를 사용하지 않고 있습니다. 무엇보다도 그들을 힘들게 하는 것은 시끄러운 환경에서는 보청기가 제대로 작동하지 않는다는 사실입니다.

cocktail_party-657x500 — 보청기 착용자들은 붐비는 방에서 단일한 목소리를 골라내기 위해 고군분투하는 ‘칵테일 파티 문제’라고 하는 어려움을 겪습니다. 딥 러닝은 이를 해결하기 위해 새로운 보청기를 고안하고 있습니다.

‘칵테일 파티’ 문제

정상적인 청력을 지닌 사람은 사람 목소리와 거리에서 달리는 버스가 동시에 내는 굉음을 구별할 수 있습니다. 그러나 보청기는 양쪽 모두의 볼륨을 높이면서 알아들을 수 없는 소음을 만들어 낸다고 왕교수는 설명합니다.

그 소음은 “칵테일 파티 문제”라는 명칭으로 알려져 있는데요.
인간의 청각 시스템은 자연스럽게 음악과 배경의 대화들을 조정해서 혼잡한 방에서도 한 목소리에 집중할 수 있습니다. 그 능력을 모방한 보청기를 만드는 것은 수십 년 동안 과학자들에게 무척 어려운 일이었습니다.

왕교수는 시력이 1.0이 아닌 사람들이 안경을 효율적으로 여기듯이 보청기 또한 사용하기 쉬우면서도 효과가 있어야 한다고 믿습니다. “저는 보청기를 사용하는 사람들이 청력에 문제가 없는 사람들과 마찬가지로 들을 수 있기를 바랍니다.” 라고 왕교수는 이야기합니다.

폭발 소리가 도움이 되는 방법

보청기를 개선하기 위해 왕교수는 말과 소리를 분리하는 딥 러닝 프로그램을 개발했습니다. 첫 번째 단계로, 그는 말과 소음의 차이를 말해주기 위해 음량, 주파수 및 기타 음질을 사용하는 신경망을 트레이닝 시켰습니다.

다음으로, 연구자들은 그들의 신경망에 말의 소리와 배경 소음의 범위를 교육시켜야 했습니다. 여기에는 IEEE 구술 문장의 표준, 병원 구내 식당의 소리 및 10,000 개의 영화 음향 효과 — 폭탄을 터뜨리고 유리를 깨는 것에서부터 거실이나 부엌에서 들리는 일상의 소리까지 모든 것이 포함되어 있었지요.

연구자들은 트레이닝 가속화를 위해, 텐서플로우(TensorFlow) 딥 러닝 프레임 워크가 장착된 CUDA 병렬 컴퓨팅 플랫폼, NVIDIA TITAN X GPU 및 cuDNN을 이용했습니다.

9배 이상의 이해력 증가

여러 번의 트레이닝을 거친 후에 왕교수는 사람의 음성을 배경 소음으로부터 분리하고 각각의 볼륨을 자동으로 조정하는 “디지털 필터”를 만들었습니다.

연구자들은 양쪽 귀에 보청기를 착용한 사람들과 청력에 문제가 없는 사람들에게 딥 러닝 보청기 소프트웨어를 테스트했습니다. 참가자들은 왁자지껄한 소리와 식당의 소음 이라는 두 가지 유형의 배경 소음 속에서 각자가 말을 얼마나 잘 이해할 수 있는지 확인해야 했습니다.
그 결과, 청력을 잃은 사람들이 소음에 가려진 말을 이해하는 능력은 놀라울 만큼 향상되었습니다. 어떤 사람들은 이해력이 10 %에서 90 %로 오르기까지 했습니다.

청력에 문제가 없는 사람들조차도 배경 잡음이 있는 말을 더욱 잘 이해할 수 있었습니다. (보다 세부적인 내용이 알고 싶다면, 왕교수와 그의 팀이 딥 러닝 알고리즘을 교육하고 테스트하는 방법에 대한 이 보고서를 참고해 보세요.)

“이와 같은 결과는 우리 프로그램이 언젠가 우리가 예상했던 것보다 훨씬 많은 사람들을 도울 수 있다는 것을 의미합니다”라고 왕교수는 말했습니다.