증강현실(AR)과 가상현실(VR)의 몇몇 순간들은 단순히 헤드셋을 착용하고 몰입도 높은 가상 세계로 이동하는 것 이상으로 신비로운데요.
이러한 경험을 보다 많은 사람들에게 전달하기 위해 엔비디아는 미국 로스앤젤레스에서 열리는 시그라프(SIGGRAPH) 컴퓨터 그래픽 콘퍼런스에서 VR과 AR을 통한 마법 같은 경험을 증대하는 엔비디아 리서치 팀의 최근 연구를 공개합니다.
시그라프 컴퓨터 그래픽 콘퍼런스에서 엔비디아는 두 분야의 연구 업적을 선보이는데요. 그 중 하나는 연구원들이 “다초점 디스플레이(varifocal display)”라고 부르는 기술로, 사용자가 VR과 AR 경험을 즐기는 동안 보다 자연스럽게 집중할 수 있도록 지원합니다.
또 다른 연구 업적은 VR과 AR의 촉각 및 느낌을 향상시키는 햅틱(haptics) 기술입니다. 이는 지난 10년간의 학술회의뿐만 아니라 시그라프와 같은 업계 행사에서 엔비디아가 공유해왔던 성장세에 있는 연구 업적들 중에서도 가장 최신 내용을 반영하고 있습니다.
AR과 VR 분야 강화에 초점을 맞추다
구체적으로, 엔비디아는 수렴-조절 불일치(vergence-accomodation conflict)를 다루는 두 가지 기술을 시연합니다. 이 현상은 3D 공간에서 사물에 초점을 맞추는 것에 익숙한 우리의 눈이 일정한 가시 거리에서 제시되는 시차 깊이 지각(parallax depth cues)이 있는 입체 이미지를 볼 때에 발생하는데요. 두 가지 기술은 각각 다른 방식으로, 사용자가 보는 위치에 따라 그들 앞에 있는 가상 이미지의 초점을 다양하게 함으로써 수렴-조절 불일치를 해결하는 것을 목표로 합니다.
첫째로, 다초점 가상성(Varifocal Virtuality)은 니어-아이(near-eye) 디스플레이를 위한 새로운 광학 레이아웃입니다. 다초점 가상성은 새로운 투명 홀로그램 배면 투사형 스크린(back-projection screen)을 사용해서 실제 세계와 자연스럽게 조화를 이루는 가상 이미지를 보여줍니다. 홀로그램을 사용하면 오늘날의 헤드셋보다 훨씬 얇고 가벼운 형태로 VR과 AR을 즐길 수 있습니다.
이번 시연은 UC 버클리(UC Berkeley) 랩의 마틴 뱅크스(Martin Banks)의 신규 연구를 활용하는데요. 뱅크스 연구원의 연구는 우리의 두뇌가 사진작가들이 색수차(chromatic aberration)라고 부르는 현상― 렌즈를 통해서 투사하여 상을 맺었을 때 상 가장자리에 색이 붙어서 흐리게 보이는 현상―을 이용하여 공간 내 이미지의 위치를 파악한다는 논리를 뒷받침하는 증거를 제시합니다.
엔비디아의 시연은 이와 같은 색수차 효과를 활용해서 사용자들이 위치를 더 잘 파악할 수 있는 방법을 보여줍니다. 초점이 맞춰지지 않아야 마땅할 만큼 각기 동떨어진 거리에 있는 가상 물체들은 눈의 내부 광학을 설명하는 정교한 시뮬레이션 비초점 흐림 효과로 렌더링 됩니다.
따라서 사용자가 멀리 떨어져 있는 물체를 보고 있을 때에는 초점이 맞춰집니다. 그들이 보고 있지 않는 주변 사물은 실제 세계와 마찬가지로 더 흐릿하게 보일 것입니다. 한편, 사용자가 근처의 물체를 보면 상황은 반전됩니다.
두 번째 시연인 멤브레인 VR(Membrane VR)은 노스캐롤라이나 대학(University of North Carolina), 엔비디아, 잘란트 대학(Saarland University), 그리고 막스 플랑크 연구소 (Max-Planck Institutes)가 협력한 결과물인데요. 개별적인 각각의 눈에 변형 각막 거울을 사용함으로써 시선 추적기가 사용자의 시선을 감지하는 곳에 따라 조정될 수 있다는 것을 선보일 예정입니다.
UNC의 박사과정 학생이자 엔비디아의 인턴인 데이비드 던(David Dunn)의 협력으로, VR과 AR 사용자는 실제 세계의 사물은 가까이 있든, 멀리 있든 초점을 맞출 수 있는 것처럼 가상의 물체 또한 선명하게 볼 수 있습니다.
가령, 사람의 머리 위에 그 사람의 이름을 보여주는 라벨이 실제 사용자에게 표시되도록 하여 가상 세계와 실제 세계를 괴리감 없이 완벽하게 혼합하는 경험을 만들어 낼 수도 있습니다. (자세한 내용이 궁금하다면 이 기술에 대해 데이비드 던이 공동 집필하고 상을 받은 논문을 읽어보세요.)
햅틱 내 새로운 아이디어
또한 엔비디아는 유동 탄성체 액추에이터(fluid elastomer actuators)라는 작은 공기상자를 통해 두 가지 새로운 기술을 선보일 텐데요. 유동 탄성체 액추에이터는 화면에서 보이는 것을 손에서 느낄 수 있게 만들어줌으로써 VR과 AR 경험을 개선시키는 햅틱 피드백을 제공할 수 있습니다. 두 가지 기술 모두 엔비디와 코넬 대학교(Cornell University)의 공동협력을 통해 개발되었답니다.
첫 번째 기술은 사용자가 VR을 경험하는 동안 촉각 피드백을 경험하고, 질감과 기하학의 변화를 느끼게 해주는 VR 컨트롤러 프로토타입에 적용되었습니다. 이 VR 컨트롤러의 부드러운 표면은 포스 피드백(게임용 기기에서 게임 중의 충격이나 진동을 실제로 체감하게 하는 것)을 안전하게 제공할 수 있을 뿐만 아니라, 다른 종류의 질감과 재질을 잘 시뮬레이션할 수 있습니다.
두 번째 기술은 사용할 때에 모양과 느낌을 변형할 수 있는 컨트롤러에 적용되었는데요. 스포츠 경기에서 흔들 법한 종류의 고무칼은 부드럽고 말랑말랑한 느낌을 주다가도, 잠시 후에는 손에 쥐었을 때에 더 탄탄한 느낌을 주는 긴 일본도로 변형될 수 있습니다.
엔비디아는 이와 같은 참신한 입력 장치를 VR 펀하우스(VR Funhouse) 경험과 통합했습니다. VR펀하우스를 체험하는 유저들은 이제 두더지 게임에서 망치로 내려칠 때의 느낌을 경험할 수 있고, 사격 연습장에서 구형 리볼버로 플레이트를 맞출 때 스릴을 느낄 수 있게 될 전망입니다.
더 알아보기
이와 같은 아이디어를 상품화해서 출시하고, VR 및 AR을 보다 간편하게 사용할 수 있도록 하기 위해서는 아직 많은 과제들이 남아 있는데요. 엔비디아는 VR 및 AR이 더 광대하게 도입될 수 있도록 이끌기 위해 시각에서 촉각에 이르기까지 가장 까다로운 기술 문제를 해결하려고 노력하고 있습니다.
시그라프의 신기술(Emerging Technologies) 전시회에서 엔비디아의 최신 연구를 만나보세요. 그리고 AI 및 VR과 같은 기술을 활용할 수 있는 방법에 대해서 강연하는 부스를 방문하는 것도 잊지 마세요!