엔비디아가 현지시간 5월 8일부터 미국 캘리포니아 산호세 맥에너리 컨벤션센터에서 개최되고 있는 GPU 테크놀로지 컨퍼런스(GPU Technology Conference, 이하 GTC)에서VR 오디오 및 360도 동영상 스티칭(video stitching)을 VR웍스(VRWorks) 소프트웨어 개발 키트(SDK)의 새로운 구성 요소로 공개했습니다. 본 구성 요소를 통해 보다 몰입감 넘치는 VR 제작과 손쉬운 VR 개발이 가능해질 전망입니다.
VR웍스 오디오 SDK(VRWorks Audio SDK)는 가상 환경 내 오디오의 실시간 레이 트레이싱(ray tracing, 광선 추적)을 제공하며 에픽(Epic) 사의 언리얼 엔진 4(Unreal Engine 4)를 지원합니다. VR웍스 360 비디오 SDK는 까다로운 실시간 동영상 스티칭 문제를 해결할 수 있습니다.
VR웍스 오디오, 물리적으로 정확한 오디오 구현 지원
기존의 VR 오디오는 가상 환경 내에서 음원의 실제 3D 위치만을 제공해왔는데요. 그러나 현실 세계에서 음향은 음원의 단순 위치뿐만 아니라, 음원이 발생하는 물리적 환경의 실제 규모 및 물질 특성 등을 반영해 구성됩니다.
엔비디아 VR웍스 오디오는 반사, 굴절 및 회절 등의 음향 전파 현상을 모델링함으로써 실제처럼 몰입감 넘치는 환경을 제작할 수 있도록 지원하며, 이 과정은 GPU의 대규모 처리 능력을 기반으로 실시간으로 진행됩니다.
또한 VR웍스 오디오는 엔비디아 옵틱스 레이 트레이싱(NVIDIA OptiX ray-tracing) 기술을 활용해 음향의 이동 경로를 실시간으로 추적하고 가상 환경의 크기. 형태, 재질 특성을 반영하여, 물리적으로 정확한 오디오를 구현합니다.
VR웍스 오디오는 유일한 하드웨어 가속 방식의 이동 경로 추적 오디오 솔루션으로, 장면에 대한 사전처리(pre-bake) 정보 없이 실시간으로 특정 환경의 전체 음향 이미지를 생성합니다. 애플리케이션에 의해 장면이 로딩되면, 음향 모델이 구축되어 플라이(fly)에 업데이트됩니다. 이어 오디오 효과 필터가 생성되어 음원 웨이브폼(waveform) 에 적용됩니다.
이번 소프트웨어 공개에는 엔진 및 애플리케이션 종류에 관계없이 탑재 가능하도록 지원하는 C-API 세트가 포함되어 있으며, 에픽사의 언리얼 엔진 4용 탑재 도구는 현재 깃허브(GitHub) 상에 공개되어 있습니다.
GTC에 참석하시는 분들은 VR 빌리지(VR Village)를 방문하여 VR웍스 오디오 기술의 라이브 데모와 OPTIS의 HIM VR 디자인 애플리케이션에 통합된 SDK를 경험하실 수 있습니다.
와서 그 차이를 들어보세요!
VR웍스 360 비디오, 실시간 스티칭 지원
이번 GTC에서는 실시간 4K 360 동영상 캡처, 스티칭 및 스트리밍을 지원하는 VR웍스 360 비디오 SDK(VRWorks 360 Video SDK)의 첫 번째 베타도 공개됐습니다.
실시간 스티칭을 스테레오로 구현하는 VR웍스 360 비디오 SDK 후속 버전 시연에는 Z CAM의 V1 PRO VR 카메라 시스템이 활용됐으며, 2개의 쿼드로 P6000 (Quadro P6000) GPU를 기반으로 8대의 4K 카메라를 스테레오로 스티칭하는 방법이 공개됐습니다.
Z CAM의 킨슨 루(Kinson Loo) CEO는 “엔비디아의 4K 360도 스테레오 방식 동영상 실시간 스티칭은 라이브스트리밍을 가능하게 함으로써, 프로덕션 파이프라인에 변화를 가져오고 VR의 완전히 새로운 사용자 케이스를 만들어냅니다”라고 말했습니다.
산호세 맥에너리 컨벤션센터에서 개최되고 있는 GTC 2017의 참가자들은 ‘VR 빌리지(VR Village)’를 방문해 VR웍스 오디오 기술의 실시간 시연 및 OPTIS의 HIM VR 디자인 애플리케이션에 탑재된 SDK를 경험해 보고, 그 결과 나타나는 음향의 차이도 직접 느껴볼 수 있습니다.
엔비디아 VR웍스 360 비디오 및 오디오 SDK는 모든 개발자들이 이용할 수 있도록 developer.nvidia.com/vr에 공개된 상태입니다. 모노 지원 VR웍스 360 비디오 SDK는 현재 공개 베타 형태로 제공되고 있습니다. 스테레오 지원 VR웍스 360 비디오 SDK는 빠른 시일 내 공개될 예정입니다.