가상현실에서 손을 자유롭게 사용할 수 있는 GPU 기반의 딥핸드 시스템

by NVIDIA Korea

가상현실에서 손을 자유롭게 사용할 수 있는 GPU 기반의 딥핸드 시스템

일상 생활에서 우리의 ‘손’은 무척 다양한 일을 많이 합니다. 뿐만 아니라 미세한 감각을 느낄 수 있는 신체 기관이기도 하죠.

하지만 여러분들이 가상현실을 체험할 때, 우리의 ‘손’은 체험의 현실성에 어떤 영향을 미칠까요? 아무리 몰입감 있는 체험을 하고 있더라도 시야를 아래로 내리는 순간 손을 자유롭게 움직일 수 없다는 것을 알아챈다면, 그 생생한 느낌이 절반으로 줄어들게 되겠죠?

퍼듀 대학(Purdue University)의 연구 팀은 가상현실에서의 손의 움직임을 표현하는 딥핸드(DeepHand) 시스템을 딥 러닝 기술을 기반으로 개발하여 몰입감을 높이고자 하고 있답니다.

이 팀은 이미지를 픽셀 단위로 분석하여 사물의 높낮이를 감지하는 뎁스 센싱(Depth Sensing)카메라와 GPU로 훈련된 심층 나선형 신경망(CNN)을 결합하여 250만 가지에 달하는 손의 자세와 배치를 해석하고, 3D의 가상 물체와 사람의 손이 기민하게 상호 작용할 수 있는 단계까지 크게 한 걸음을 내디뎠습니다.

자연스러운 인터페이스

딥핸드 시스템은 퍼듀 대학 기계 공학과 카르틱 라마니(Karthik Ramani) 교수가 제시하는 다음과 같은 장기적인 비전을 실현합니다.

“저는 항상 손을 사용자 인터페이스 요소의 핵심적인 부분으로 설계 및 개발하고 싶었습니다. 실제 세계에서는 손으로 자연스럽게 하는 일이 정말 많으니까요. 가상현실에서도 손을 사용하여 3D 물체와 직관적으로 상호 작용할 수 있도록 구현하고자 하였죠”

라마니 교수는 뎁스 센싱 카메라가 이제는 합리적인 가격으로 출시되어 가상현실 시스템에 적용하는 것이 편리해졌고, 이에 따라 인간과 컴퓨터 사이의 인터페이스에서 손을 자연스럽게 사용할 수 있게 될 것이라는 기대감도 높아졌다고 덧붙였는데요.

이 과정에서 GPU는 딥핸드 시스템을 위해 만들어진 나선형 신경망의 훈련 속도를 높여 연구를 진척시키는데 크게 일조했습니다. 특히 라마니 교수와 대학원의 아얀 신하(Ayan Sinha), 최치호 연구원은 엔비디아 GPU를 활용해 네트워크를 훈련했는데요, 라마니 교수의 말에 따르면 기존의 CPU 대비 2~3배 더 빠르게 연구를 진행할 수 있었다고 하네요.

난관을 극복하다

연구에 진전은 있었지만, 손동작을 정확히 해석하는 데까지는 아직 수많은 난관이 남아 있습니다. 예를 들면, 손가락과 손 일부가 카메라의 시야를 가려서 손동작을 해석할 수 없는 경우가 발생할 수 있습니다. 우리의 손에는 수많은 관절이 있고, 가능한 동작의 수는 거의 무한대입니다. 게다가 손의 각 부분이 서로 비슷하게 생겼기 때문에 시스템 상에서는 손의 각 모양새를 분간하기 어려울 때도 많습니다.

“시각을 통해서 정확한 손의 위치와 모든 관절의 각도를 파악하는 일은 수많은 점을 이어 원하는 선을 그리는 것만큼이나 단순치 않죠” 라마니 교수는 이어 말했습니다. “이는 여러분이 상상하는 것보다 훨씬 어려운 문제일 수 있답니다”

다행히 라마니 교수는 손의 움직임을 기반으로 한 사용자 인터페이스로 개발하는 연구를 집중적으로 하는 스타트업 제로유아이(ZeroUI)를 통해 국립 과학 재단의 기금을 지원 받게 됩니다. 이 기업은 손으로 제어할 수 있는 로봇 장난감 조립이 가능한 Ziro 모듈형 제작 키트 (Ziro modular construction kit)로 주목 받은 바 있습니다.

장기적인 계획의 수립

라마니 교수 연구팀의 계획은 최종적으로 제로유아이를 통해 딥핸드 시스템을 상용화하는 것입니다. 그러나 증강 현실 및 가상현실용 애플리케이션을 개발을 시작하기에 앞서 손동작의 해석을 좀 더 정확히 할 수 있어야 하겠죠.

“실제로 증강현실과 가상현실에서 손의 움직임을 구현하는 모델을 더 견고하고 실용적으로 만들어야 합니다“ – 라마니 퍼듀 대학 교수

앞으로도 연구팀은 그 부분을 강화해 나갈 계획인데요. 그 일환으로 이 팀은 올해 여름 라스베가스에서 열린, 컴퓨터 시각 및 패턴 인식에 관한 2016 IEEE 컨퍼런스에서 관련 연구 논문을 발표한 바 있습니다.

사용자의 손동작을 가상현실 내에서 인식할 수 있는 딥핸드 시스템과 같은 기술이 상용화되면 우리의 가상현실 체험 몰입감이 더욱 생생해지겠죠? 현실에서의 손의 움직임을 완벽히 구현한 가상현실을 체험하는 그 날이 벌써부터 기다려지네요. ^^