2D 사진을 3D 장면으로 빠르게 전환하는 뉴럴 렌더링 모델인 Instant NeRF를 공개합니다. NVIDIA의 AI 기술을 활용한 Instant NeRF는 2D 장면의 이미지를 수 밀리초 안에 빠르게 렌더링해줍니다.
75년 전 폴라로이드 카메라로 즉석 사진을 최초로 촬영할 당시, 3D 세계를 사실적인 2D 이미지로 빠르게 포착하는 것은 획기적인 일이었는데요. 오늘날 AI 연구진은 이와 정반대의 연구를 하고 있습니다. 바로 정지된 이미지 모음을 몇 초 만에 디지털 3D 장면으로 바꾸고 있죠.
인버스 렌더링(inverse rendering)으로 알려진 이 과정은 AI를 사용하여 실제 세계에서 빛이 어떻게 작용하는지 대략적으로 파악해 연구자가 다양한 각도에서 촬영한 소수의 2D 이미지로 3D 장면을 재구성합니다. NVIDIA Research 팀은 이 작업을 거의 즉시 수행하는 접근 방식을 개발했으며, 이는 초고속 뉴럴 네트워크 트레이닝과 고속 렌더링을 결합한 최초의 모델 중 하나가 됐습니다.
NVIDIA는 이 방식을 인기 있는 신기술인 NeRF(Neural radiance Fields, 뉴럴 래디언스 필드)에 적용했습니다. 그 결과물인 Instant NeRF는 현재까지 가장 빠른 NeRF 기술로, 경우에 따라 1,000배 이상으로 속도를 향상시킵니다. 이 모델은 수십 장의 사진과 더불어 촬영한 카메라 각도의 데이터를 단 몇 초 만에 학습하고, 그 결과 생성된 3D 장면을 수십 밀리초 안에 렌더링할 수 있습니다.
NVIDIA의 그래픽 연구 부사장 데이비드 룹커(David Luebke)는 “다각형 메쉬(polygonal meshes)와 같은 기존 3D 표현이 벡터 이미지와 유사하다면, NeRF는 비트맵 이미지와 같습니다. 물체나 장면에서 빛이 방사(radiate)되는 방식을 조밀하게 포착합니다. 그런 의미에서 Instant NeRF는 2D 사진에서 디지털 카메라와 JPEG 압축이 3D 캡처와 공유의 속도, 용이성, 도달 범위를 크게 향상시킨 것처럼 3D에 중요한 기술”이라고 설명했죠.
NVIDIA GTC 세션에서 소개된 Instant NeRF는 가상세계의 아바타 또는 장면을 만들거나 화상회의 참가자와 환경을 3D로 캡처하고, 3D 디지털 맵의 장면을 재구성하는 데 사용할 수 있습니다.
이와 더불어 NVIDIA Research는 폴라로이드 이미지의 초창기를 기리기 위해, Instant NeRF를 사용해 즉석 사진을 찍는 앤디 워홀의 상징적인 이미지를 3D 장면으로 재창조했습니다.
NeRF란
NeRF는 신경 네트워크를 사용해 입력된 2D 이미지 컬렉션을 기반으로 사실적인 3D 장면을 표현하고 렌더링합니다. NeRF에 공급할 데이터를 수집하는 것은 마치 레드 카펫 사진작가가 모든 각도에서 유명인의 의상을 캡처하는 것과 비슷하죠. 신경 네트워크에는 장면 주변의 여러 위치에서 촬영한 수십 개의 이미지와 각각의 카메라 위치가 필요하기 때문입니다.
사람이나 기타 동적인 요소가 포함된 장면들은 빨리 캡처될수록 좋습니다. 2D 이미지 캡처 과정에서 움직임이 너무 많으면 AI가 생성한 3D 장면이 흐려지죠.
NeRF는 공백을 채우고 3D 공간의 모든 지점에서 전 방향으로 방출되는 빛의 색상을 예측해 장면을 재구성하도록 작은 신경망을 훈련합니다. 이 기술은 일부 이미지에서 보이는 물체가 다른 이미지에서 기둥과 같은 장애물에 의해 차단되는 경우에도 해결책으로 사용할 수 있습니다.
Instant NeRF로 1000배 가속
부분적인 시각에 근거해 사물의 깊이와 외관을 파악하는 것은 인간에게는 자연스러운 작업이지만, AI에게는 어려운 일입니다. 기존 방법으로 3D 장면을 생성하려면 시각화의 복잡성과 해상도에 따라 몇 시간 이상 소요되지만, AI를 도입하면 작업의 속도가 빨라집니다. 초기 NeRF 모델은 아티팩트 없이 선명한 장면을 몇 분 안에 표현했지만, 훈련에는 수 시간이 걸렸습니다.
그러나 Instant NeRF는 렌더링 시간을 몇 배나 단축하며, NVIDIA GPU에서 효율적으로 실행되도록 최적화된 멀티-해상도 해시 그리드 인코딩(multi-resolution hash grid encoding)이라 불리는 NVIDIA의 기술을 사용합니다. 새로운 입력 부호화 방법을 사용하면 연구자들은 빠르게 작동하는 작은 신경망을 통해 고품질의 결과를 얻을 수 있습니다.
이 모델은 NVIDIA CUDA Toolkit 및 초소형 CUDA 뉴럴 네트워크(Tiny CUDA Neural Networks) 라이브러리를 사용해 개발됐습니다. 경량 뉴럴 네트워크이므로 NVIDIA Tensor Core를 탑재한 카드에서 가장 빠르게 동작하는 NVIDIA GPU 1개만으로 훈련 및 실행할 수 있습니다.
이 기술은 로봇과 자율주행 자동차가 2D 이미지와 동영상을 캡처하면서 실제 물체의 크기와 모양을 이해하도록 훈련하는데 사용할 수 있습니다. 또한 건축과 엔터테인먼트 분야에서도 제작자가 수정하고 구축할 수 있는 실제 환경의 디지털 표현을 신속하게 생성합니다.
NeRF 외에도 NVIDIA Research 팀은 이 입력 인코딩 기술을 사용해 강화 학습, 언어 번역 및 범용 딥 러닝 알고리즘을 포함한 여러 AI 과제를 가속화하는 방법을 모색하고 있습니다.
NVIDIA CEO 젠슨 황(Jensen Huang)의 키노트 영상을 통해 NVIDIA의 최신 연구를 확인해보세요.