NVIDIA는 미국 콜로라도 덴버에서 열린 시그라프(SIGGRAPH) 2024에서 실제 세계의 AI 레디(AI-ready) 가상 표현(virtual representation)을 생성하기 위한 새로운 딥 러닝 프레임워크인 fVDB를 발표했습니다.
fVDB는 물, 불, 연기, 구름과 같은 희소한 볼류메트릭 데이터(volumetric data)를 시뮬레이션하고 렌더링하기 위한 업계 표준 라이브러리인 오픈VDB(OpenVDB)를 기반으로 구축됐습니다.
현실 세계에 존재하는 자율주행 차량이나 로봇과 같은 물리 생성형 AI는 3D 공간을 이해하고 그 안에서 작동할 수 있는 능력인 ‘공간지능(spatial intelligence)’을 갖춰야 하는데요.
우리 주변을 둘러싼 세계의 초미세한 대규모 디테일을 포착하는 것은 필수입니다. 하지만 현실을 가상의 표현으로 변환해 AI를 훈련시키는 것은 어려운 일이죠.
실제 환경에 대한 원시 데이터는 신경방사장(Neural Radiance Fields, NeRF), 라이다와 같은 다양한 기술을 통해 수집할 수 있습니다. fVDB는 이 데이터를 실시간 렌더링되는 대규모 AI 레디 환경으로 변환하죠.
이번 시그라프에서 발표된 지난 10년간의 오픈VDB 표준 혁신을 기반으로 한 fVDB는 산업계가 현실 세계의 디지털 트윈을 통해 혜택을 누릴 수 있는 방법에서 중요한 도약임을 의미합니다.
현실 규모의 가상 환경은 자율 에이전트 훈련에 사용됩니다. 도시 규모의 3D 모델은 기후 과학과 재난 계획을 위해 드론으로 촬영되죠. 오늘날 3D 생성형 AI는 도시 공간과 스마트 시티를 계획하는 데에도 사용됩니다.
fVDB를 통해 산업계는 이전보다 더 큰 규모와 더 높은 해상도로 공간 지능을 활용해 물리적 AI를 더욱 스마트하게 만들 수 있습니다.
이 프레임워크는 효율적인 3D 시뮬레이션을 위한 GPU 가속 데이터 구조인 NanoVDB 위에 NVIDIA 가속 AI 연산자를 구축합니다. 이러한 연산자에는 콘볼루션(convolution), 풀링(pooling), 어텐션(attention), 메싱(meshing)이 포함되며, 모두 고성능 3D 딥 러닝 애플리케이션을 위해 설계됐습니다.
AI 연산자를 통해 기업은 대규모 포인트 클라우드 재구성이나 3D 생성형 모델링과 같은 공간 지능을 위한 복잡한 신경망을 구축할 수 있습니다.
fVDB는 NVIDIA 연구팀의 오랜 노력의 결과물이며, 이미 크고 복잡한 실제 공간의 고충실도 모델이 필요한 NVIDIA Research, NVIDIA DRIVE, NVIDIA Omniverse 프로젝트를 지원하는 데 사용되고 있습니다.
fVDB의 주요 장점
- 더 큰 규모: 이전 프레임워크보다 4배 더 큰 공간 규모
- 더 빠른 속도: 이전 프레임워크보다5배 빠른 속도
- 상호 운용성: 기업은 방대한 실제 데이터 세트를 완벽하게 활용할 수 있습니다. fVDB는 VDB 데이터 세트를 풀사이즈(full-sized) 3D 환경으로 읽습니다. 공간 지능으로 실제 AI를 구축할 수 있도록 AI 지원과 실시간 렌더링이 가능합니다.
- 더 강력해진 연산자: 이전 프레임워크보다 10배 더 많은 연산자입니다. fVDB는 이전에는 여러 개의 딥 러닝 라이브러리가 필요했던 기능을 결합해 프로세스를 간소화합니다.
fVDB는 곧 NVIDIA NIM 추론 마이크로서비스로 제공될 예정입니다. 아래의 세 가지 마이크로 서비스를 통해 기업은 fVDB를 오픈USD(Universal Scene Description, OpenUSD) 워크플로우에 통합할 수 있죠. 이로써 산업 디지털화와 생성적 물리 AI 애플리케이션을 위한 개발 플랫폼인 NVIDIA Omniverse에서 AI 지원 오픈USD 지오메트리(geometry)를 생성할 수 있습니다.
- fVDB Mesh Generation NIM – 실제 세계의 디지털 3D 환경 생성
- fVDB NeRF-XL NIM – Omniverse Cloud API를 사용해 오픈USD에서 대규모 NeRF 생성
- fVDB Physics Super-Res NIM – 초해상도 수행으로 오픈USD 기반의 고해상도 물리적 시뮬레이션 생성
지난 10년 동안 아카데미 소프트웨어 재단에 소속된 오픈VDB는 시각 효과 산업 전반에 걸쳐 사용되는 핵심 기술로써 여러 차례 아카데미상을 수상했습니다. 이후 엔터테인먼트 분야를 넘어 산업 디자인, 로보틱스 등 산업, 과학 분야로 그 활용 범위가 확대됐죠.
NVIDIA는 오픈 소스 오픈VDB 라이브러리를 지속적으로 개선하고 있습니다. 4년 전에는 오픈VDB에 GPU 지원을 추가한 NanoVDB를 출시했는데요. NanoVDB를 통해 속도가 대폭 향상돼 더 빠른 성능과 더 쉬운 개발이 가능해졌으며, 실시간 시뮬레이션과 렌더링의 문이 열렸습니다.
2년 전에 NVIDIA는 NeuralVDB를 출시했습니다. 이는 NanoVDB를 기반으로 머신 러닝을 구축해 VDB 볼륨의 메모리 공간을 최대 100배까지 압축함으로써 크리에이터, 개발자, 연구자가 매우 크고 복잡한 데이터 세트와 상호 작용할 수 있도록 했습니다.
fVDB는 NanoVDB 위에 AI 연산자를 구축해 현실의 규모에 맞는 공간 지능을 구현합니다. 얼리 액세스 프로그램에 신청하면 fVDB 파이토치(PyTorch) 확장 프로그램에 액세스할 수 있습니다. fVDB는 오픈VDB 깃허브(GitHub) 저장소의 일부로도 제공될 예정입니다.
fVDB에 대해 더 자세히 알아보세요. NVIDIA 창립자 겸 CEO인 젠슨 황이 시그라프에서 진행한 두 번의 좌담회에서 가속 컴퓨팅과 생성형 AI가 어떻게 산업을 변화시키고 혁신과 성장을 위한 새로운 기회를 창출하고 있는지는 확인할 수 있습니다.