이번주 컴퓨터 비전 및 패턴 인식 컨퍼런스(CVPR)에서 NVIDIA Research는 재즈의 탄생지 미국 뉴올리언스를 기념하는 비디오를 통해 3D MoMa에 대한 기술을 선보입니다.
NVIDIA 3D MoMa는 설계자, 디자이너, 컨셉 아티스트와 게임 개발자가 객체를 그래픽 엔진으로 빠르게 가져와 작업, 크기 수정, 재료 변경 또는 다양한 조명 효과 실험을 시작할 수 있도록 지원합니다.
2D 이미지에서 3D 객체 추출
인버스 렌더링(inverse rendering)은 일련의 정지 사진을 물체나 장면의 3D 모델로 재구성하는 기술인데요. NVIDIA 그래픽 연구 부사장인 데이비드 룹커(David Luebke)는 ”인버스 렌더링은 오랫동안 컴퓨터 비전과 컴퓨터 그래픽을 통합하는 성배였습니다. NVIDIA 3D MoMa 렌더링 파이프라인은 인버스 렌더링 문제의 모든 부분을 GPU 가속 미분 가능 구성 요소로 공식화합니다. 이로써 현대 AI의 기계와 NVIDIA GPU의 원시 컴퓨팅 마력을 사용해 크리에이터가 기존 도구의 제한 없이 가져오고, 편집하며 확장할 수 있는 3D 객체를 빠르게 제작합니다”라고 말했습니다.
예술가나 엔지니어에게 가장 유용하게 쓰이려면, 3D 개체는 게임 엔진, 3D 모델러 및 필름 렌더러와 같이 널리 사용되는 도구에 넣을 수 있는 형식이어야 합니다. 그 형태는 텍스처 재료를 사용한 삼각형 메쉬로, 3D 도구에서 사용되는 공통 언어입니다.
게임 스튜디오와 다른 크리에이터들은 전통적으로 상당한 시간과 수작업이 필요한 복잡한 사진 측량 기법으로 3D 객체를 제작했는데요. 뉴럴 래디언스 필드(neural radiance fields)의 최근 작업은 물체나 장면의 3D 표현을 빠르게 생성할 수 있지만 쉽게 편집할 수 있는 삼각형 메쉬 형식으로는 생성할 수 없죠.
NVIDIA 3D MoMa는 단일 NVIDIA Tensor Core GPU에서 1시간 이내에 삼각형 메쉬 모델을 생성합니다. 파이프라인의 출력은 크리에이터가 이미 사용하고 있는 3D 그래픽 엔진 및 모델링 도구와 직접 호환됩니다.
파이프라인의 재구성에는 3D 메쉬 모델, 재료, 조명 세 가지 기능이 포함되어 있습니다. 메쉬는 삼각형으로 만들어진 3D 형태의 파피에 마세(papier-mâché)와 같다. 이를 통해 개발자는 창의적 비전에 맞게 객체를 수정할 수 있습니다. 재료는 피부처럼 3D 메쉬에 2D 텍스처가 겹쳐진 것입니다. 그리고 NVIDIA 3D MoMa는 장면이 어떻게 점등되는지 예측하여 크리에이터들은 이후 개체의 조명을 수정할 수 있습니다.
가상 재즈 밴드를 위한 튜닝 악기
NVIDIA 3D MoMa의 기능을 소개하기 위해 NVIDIA의 연구 및 크리에이티브 팀은 트럼펫, 트롬본, 색소폰, 드럼 세트, 클라리넷 등 5개의 재즈 밴드 악기 각각 약 100개의 이미지를 다양한 각도에서 수집했습니다.
NVIDIA 3D MoMa는 2D 이미지를 메쉬로 표시된 각 기기의 3D 표현으로 재구성했고, NVIDIA 팀은 원래 장면에서 장비를 가져와서 NVIDIA Omniverse 3D 시뮬레이션 플랫폼으로 가져와 편집했습니다.
기존의 모든 그래픽 엔진에서, 크리에이터들은 마치 메쉬를 다른 의상으로 입히는 것처럼 NVIDIA 3D MoMa에서 생성된 모양의 재료를 쉽게 교환할 수 있습니다. 예를 들어, 팀은 원래의 플라스틱을 금, 대리석, 나무 또는 코르크 마개로 즉시 변환하는 트럼펫 모델로 작업했습니다.
그런 다음 새로 편집한 개체를 가상 장면에 배치할 수 있는데요. NVIDIA 팀은 렌더링 품질을 위한 고전적인 그래픽 테스트인 코넬 박스에 그 악기들을 떨어뜨렸습니다. 그들은 빛나는 금관악기가 밝게 반사되고 무광 드럼 가죽이 빛을 흡수하면서, 가상 악기가 물리적 세계에서와 마찬가지로 빛에 반응한다는 것을 증명했죠.
인버스 렌더링을 통해 생성된 이 새로운 개체는 가상 재즈 밴드로 비디오의 피날레에서 선보인 것처럼 복잡한 애니메이션 장면의 구성 요소로 사용될 수 있습니다.
NVIDIA 3D MoMa에 대한 논문은 6월 23일 오전 3시 30분(한국시간)에 CVPR 세션을 통해 발표됩니다. 이는 NVIDIA 저자와 함께한 38편의 논문 중 하나이며, CVPR에서 NVIDIA Research에 대해 자세히 확인해보세요.