눈의 움직임에 따라 실제 시야와 똑같이 구현되는 가상현실, ‘포비티드 렌더링’
우리가 어떤 물체를 바라볼 때, 그 시야 안에는 중심이 되는 개체와 배경이 되는 주변부가 존재합니다. 시야의 초점이 맞춰진 중심 개체와 달리, 집중하지 않는 주변부는 흐릿한 채 남아있어도 온전한 시야를 구성하는데 불편함이 없죠. 그렇다면 이러한 원리를 VR 헤드셋의 작동 원리에 응용하면 어떻게 될까요?
엔비디아는 아이트래킹(Eye Tracking, 안구추적) 기술을 전문으로 하는 독일의 컴퓨터 비전 애플리케이션 개발사 SMI(SensoMotoric Instruments)와의 협력을 통해, 인간의 눈이 지닌 생리적 특성을 가상현실에 적용하는 기술을 개발하고 있습니다. 어떤 의미냐고요? 눈의 초점이 맞는 부분을 고해상도로 구현하고 나머지 배경은 저해상도로 처리하는 방식으로 그래픽 처리량을 줄인 것이죠.
이 기술은 지난 24일부터 28일까지 캘리포니아 애너하임에서 열리고 있는 세계 최대의 컴퓨터 그래픽 전시회 ‘시그래프(SIGGRAPH) 2016’에서 시연되고 있는데요. 체험자는 아이트래킹 기술이 적용된 VR 헤드셋을 쓰고 칠판과 책상, 의자가 있는 가상의 교실을 둘러볼 수 있답니다.
체험 도중 아이트래킹 기능을 비활성화하고 교실 의자를 바라보면, 의자의 주변만 자세히 렌더링되어 있음을 알 수 있는데요. 아이트래킹 기술은 그 기능이 활성화 될 경우 이러한 중심부와 주변부의 렌더링의 차이를 알아차리기 쉽지 않다는 것이 특징입니다.
이 기법은 인식 기반 포비티드 렌더링(perceptually based foveated rendering) 기법이라고 불리는데요. 시선에 따라 필요한 영역만 최대 화질을 유지하고 배경 부분은 유연하게 저화질로 표현함으로써 몰입도 높은 고화질 VR 경험을 구현하면서도 그래픽 연산 부하는 최소화 할 수 있습니다.
엔비디아의 포비티드 렌더링 기법이 특별한 이유
인간의 시야는 중심시와 주변시로 이루어져 있습니다. ‘중심와’라 불리는 망막의 작은 부분은 수많은 간체 시세포로 이루어져 있으며 선명하고 세밀한 시야를 제공합니다. 주변시는 훨씬 넓은 부분을 보여주지만 세밀함은 떨어집니다.
포비티드 렌더링이 적용되지 않은 이미지
포비티드 렌더링 시스템은 이러한 시야의 차이에 착안하여 탄생했습니다. 바로, 사용자의 시야를 추적해서 중심부를 강조하고 주변부 이미지 품질을 낮춤으로써 그래픽 성능을 높이는 시스템이죠. 하지만 포비티드 렌더링을 너무 강하게 적용하면 깜박임과 흐릿함, 또는 터널 시야(터널 속에서 터널 입구를 바라보는 모양으로 시야가 제한) 현상이 발생할 수 있습니다.
엔비디아의 연구진은 SMI의 아이트래킹 HMD(헤드 마운트 디스플레이)를 이용해 가상현실 내에서 주변시를 어떻게 자연스럽게 구현할지 끊임없이 연구했고. 마침내 새로운 렌더링 알고리즘을 만들어낼 수 있었죠. 이 알고리즘은 포비티드 렌더링 기능을 향상시키고, 그래픽 품질 저하를 최소화하면서 렌더링에 소요되는 자원을 줄일 수 있답니다.
포비티드 렌더링이 블러 방식으로 적용된 이미지
앤줄 패트니(Anjul Patney), 김주환(Joohwan Kim), 마르코 살비(Marco Salvi) 연구원이 이끄는 엔비디아의 연구팀은 기존의 포비티드 렌더링 기법이 주변시의 적용 범위 내에서 흐릿함이나 깜박임을 발생시킨다는 점을 발견했습니다. 그래서 이를 개선하고자 연구를 거듭한 결과 주변 시를 통해 색상, 대비, 가장자리, 움직임 등의 요소를 감지하는 방식을 알아냈습니다.
그 예로, 연구팀은 기존 포비티드 렌더링의 주변부 렌더링이 지나치게 저해상도로 구현될 경우, 눈의 주변시에 주의를 분산시키는 깜박임 등이 발생할 수 있다는 것을 알아냈습니다. 또한 주변시를 통해 보이는 부분을 흐릿하게 만들면 대비(contrast)까지 줄어들며 시야가 좁아지는 터널 효과가 발생한다는 사실도 발견했죠.
포비티드 렌더링이 대비 보존 방식으로 적용된 이미지
하지만 대비를 그대로 보존하면서 블러 효과(흐릿함)을 함께 발생시키면, 사용자는 흐릿한 정도가 기존보다 두 배 이상 강해져도 큰 불편 없이 수용하게 된다는 사실을 발견하게 됩니다. 포비티드 렌더링이 적용된 이미지와 그렇지 않은 이미지 간의 차이를 직접 비교하기 전까지는 말이죠.
패트니 연구원은 다음과 같이 말합니다.
“포비티드 렌더링 기술의 등장은 VR 업계의 발전에 있어 매우 중요한 업적 중 하나입니다. 가상현실에 요구되는 프레임 수와 해상도가 갈수록 빠르게 증가하면서, 이를 위해 처리해야 하는 그래픽 연산 또한 기하급수적으로 커지고 있기 때문이죠.”
아이트래킹 기술의 잠재력
포비티드 렌더링 기술은 각 HMD 의 렌즈 가장자리를 적외선으로 감싸는 방식으로 작동합니다. 컴퓨터 시스템은 SMI의 소프트웨어를 활용해 눈이 바라보는 곳을 정확하면서도 매우 빠른 속도로 감지하죠.
포비티드 렌더링은 SMI의 아이트래킹 VR 기술을 응용한 한 가지 예시에 불과합니다. 아이트래킹 기술과 가상현실의 결합은 앞으로 화면 교정(display calibration), 제한 없는 자연상호작용(natural interaction), 새로운 분석적 통찰(analytical insight) 등 다양한 영역에서 활약할 것으로 기대를 모으고 있답니다.
더 자세한 정보를 알고 싶으신 분들은 엔비디아의 프로젝트 페이지를 방문해 주세요^^