스타워즈에서 영감을 받은 의수로 각 손가락을 제어
스타워즈 루크 스카이워커의 생체 공학 손을 기억하시는 분 있나요? 로봇 공학 의수 개발로 인해 저 멀리 우주 너머에서나 가능할 것 같은 일이 현실화된 것 같습니다.
그 팔이 스타워즈 광선 검을 휘두르는 용도는 아닐지라도 재즈 음악가 제이슨 반슨이 5년만에 피아노를 칠 수 있게 해주었기에 더욱 대단한데요.
직장에서 사고로 오른 팔의 대부분을 잃었던 반슨은 조지아 공과 대학교 (Goergia Institute of Technology)의 과학자들이 개발한 인공지능(AI) 의수로 다시 피아노를 칠 수 있게 된 것입니다. 대부분의 인공 의수와는 달리, 이 인공지능 의수는 그가 각 손가락을 움직일 수 있었던 28세 시절로 되돌려 보내주었습니다.
그렇게 반슨은 베토벤을 연주할 수 있게 되었고, 또한 스타워즈의 주제곡을 연주하였습니다. (아래 비디오를 통해 그가 연주하는 모습을 볼 수 있습니다)
“이건 정말이지 기가 막힌다”고 표현한 반슨은 “이 인공지능 의수가 피아노를 칠 수 있게 해준 거라면, 이건 다른 어떤 것도 할 수 있다는 것이다”라고 이야기했습니다.
각 손가락을 능숙하게 제어하다
각 손가락을 제어하게된 반슨과 다른 절단 수술을 받은 사람들은 인공지능 의수로 포크를 쥐고, 세탁 혹은 머리를 빗는 것과 같은 일상 생활들을 할 수 있습니다. 이러한 민첩함은 딥 러닝(Deep Learning)과 초음파 기계로 가속화된 GPU의 조합으로 가능했는데요.
반슨이 매일 사용하던 인공의수는 근전도(EMG)센서가 그의 근육의 전기 충격을 감지하는 것에 의존했습니다. 비록 이것은 근육의 움직임을 인지하기는 하지만, 어떤 손가락을 움직일 지 결정하기까지 EMG 신호로 소음이 너무 심했던 것이죠.
연구를 이끌고 있는 조지아 공과대교수 길 웨인버그(Gil Weinberg) 는 “이것은 콘서트 홀 옆에 마이크를 다는 것과 같다”며 “우리는 콘서트 홀 안으로 들어갈 필요가 있었다”고 표현하였습니다.
초음파신호가 심금을 울리다
웨인버그가 그의 동료들과 연구실에서 근전도를 개선시키려고 연구를 하던 중 그는 그가 일하는 옆에 있는 초음파 기계에서 뭔가를 발견했습니다. 이것은 자궁 속에 있는 아기를 볼 때 의사들이 사용하는 것과 같은 것과 같은 기계인데, 이것으로 근육의 수축뿐만 아니라 속도와 근육이 움직이는 방향까지 볼 수 있었던 것이죠.
“그것은 정말 큰 깨달음(유레카)이었죠!”라고 표현한 그는 “초음파를 통하면 손가락이 움직인 것과 기계 간의 분명한 상관관계를 만들 수 있다”고 설명했습니다.
팔에 초음파 탐지기를 부착함으로써 웨인버그는 근육의 움직임을 탐지하고 분석하기 위한 딥 러닝 네트워크를 훈련시켰습니다. 여기에 텐서플로우(TensorFlow) 딥 러닝 프레임워크를 가속화하는 cuDNN와 함께 지포스 타이탄 X(GeForce® GTX TITAN X) GPU를 사용함으로써 연구팀은 연주가가 어떤 손가락을 사용하려는지 예측하는 알고리즘을 개발할 수 있게 된 것이죠.
특별한 드러머
이 “스타워즈” 팔은 반슨의 두 번째 인공지능 의수입니다. 아틀란타 음악 선생님인 그는 사고 이후 드럼을 가슴에 품었었는데요. 사고 이후 계속 연주를 하려고 집에서 스스로 만든 의수를 사용하려고 했지만 드럼 스틱의 속도와 탄력을 제어할 수 없었다고 합니다.
노래를 작곡하고 연주하는 인공지능 기술을 개발해냄으로써 우리가 사람들이 음악에 대한 생각을 바꾸고자 조지아 음악 기술 센터(Goergia Tech’s center for music technology)를 설립한 웨인버그에게 반슨의 경우가 완벽한 도전과제였는데요.
반슨이 웨인버그에게 왔을 때, 웨인버그는 이미 로봇 타악기 연주자와 딥 러닝을 사용해 인간 뮤지션들과 즉흥 음악을 연주하는 마림바 연주 로봇도 개발한 상태였습니다. 반슨처럼 재즈 피아노 연주자였던 그의 인공지능 아이디어는 반슨이 그의 흥을 되찾을 수 있다는 것만으로 그에게 흥미를 느끼게 한 것이죠.
인공지능 음악은 여행 중
하지만 웨인버그는 반슨이 드럼을 다시 치는 것 이상을 할 수 있게 해주었습니다. 그는 하나가 아닌 두 개의 드럼 스틱으로 딥 러닝 의수를 개발한 것인데요. 웨인버그에 따르면 반슨이 하나를 컨트롤하고 다른 하나는 방 안의 음악에 맞춰 즉흥적으로 화음을 넣는 것입니다. “이 생각은 이전의 나로 돌아가는 것보다 더 나아지는 것이다”고 말한 웨인버그는 “우리는 딥 러닝으로 하여금 인간의 가능영역을 좀 더 끌어올릴 수 있는 것”이라고 이것을 표현했는데요.
처음에는 두 번째 드럼 스틱이 무섭게 느껴졌지만, 반슨은 이제 투어를 돌 수 있을 정도로 이 의수에 충분히 숙달하게 되었습니다. 그리고 앞으로 그와 웨인버그는 워싱턴 케네디 센터를 포함해 네 개 대륙으로 투어를 하게 됩니다.
“나는 끔찍한 사고에서 벗어나 세계에서 연주를 하게 되었다”며 반슨이 그 소감을 밝혔는데요. 혁신을 이끄는 기술의 중심에서 엔비디아가 반슨의 투어를 응원하겠습니다.