시그라프에서 NVIDIA 연구팀이 선보인 획기적인 기술

NVIDIA가 세계 최대 컴퓨터 그래픽 컨퍼런스인 시그라프(SIGGRAPH)에서 최신 AI 기술에 기반한 실시간 패스 트레이싱(path tracing)과 콘텐츠 제작을 위한 다양한 그래픽 기술을 선보입니다.

NVIDIA 연구팀은 크리에이터들이 실시간 렌더링을 활용해 영화의 한 장면과 같이 생생한 3D 이미지를 구현하도록 돕고, 그래픽 작업과 관련된 난제를 해결하는 다양한 기능을 소개합니다. 이러한 기능들은 크리에이터가 렌더링된 빛이 털이나 안개 등 까다로운 소재를 통과할 때의 사실성을 높이고, 실물과 유사한 모델과 장면을 손쉽게 구현할 수 있도록 합니다.

해당 기능들은 최근 개최된 고성능 그래픽 2021(High-Performance Graphics 2021)과 EGSR 2021에서 이미 공개가 됐는데요. 이러한 연구성과는 NVIDIA RTX GPU가 어떻게 포토리얼리스틱 실시간 그래픽의 한계를 넓히고 있는지 보여줍니다.

포토리얼리스틱 이미지를 실시간으로 렌더링하려면 정확한 빛 시뮬레이션과 더불어 실제 세계에서 작용하는 빛의 법칙과 동일한 모델링이 필요합니다. 오늘날 포토리얼리스틱 이미지 제작에 가장 효과적인 방법으로 알려진 패스 트레이싱은 방대한 컴퓨팅 리소스를 요구하는 만큼 사실적인 이미지를 구현하는 기술입니다.

AI 모델의 효율적 평가를 위한 전용 레이 트레이싱 하드웨어와 고성능 Tensor Cores를 탑재한 NVIDIA RTX 플랫폼은 패스 트레이싱 작업에 이상적인데요. 하지만 충실도가 높은 렌더링된 이미지를 생성하는 것은 여전히 쉽지 않은 작업이죠.

실시간 패스 트레이싱으로 표현되는 빛

보다 사실적인 장면을 표현하려면 리플렉션, 그림자, 안개 등 복잡한 빛의 효과를 렌더링해야 합니다.

예를 들어, 숲을 표현한 장면에서 햇빛은 나뭇잎을 투과하거나 안개 속 물 분자 틈에서 흐릿하게 변합니다. 그동안 구름이나 먼지 덮인 표면, 물안개 등의 사실적 이미지를 실시간으로 렌더링하는 작업은 불가능한 것으로 여겨졌는데요. 그러나 NVIDIA 연구팀은 이와 같은 시각 효과를 약 10배 더 효율적으로 컴퓨팅하는 기법들을 개발했습니다.

숲 속 호랑이의 색깔 또한 햇빛을 받아 환해지거나 나무 그늘에 가려 어두워질 수 있고, 호랑이가 숲을 지날 때 아래쪽 연못에 반사된 모습을 볼 수도 있죠. 이렇듯 풍부한 시각효과를 구성하는 빛을 직 · 간접적 리플렉션을 활용해 구현하려면 장면 속 픽셀 일체에 대해 수천 개의 패스(path)를 계산해야 합니다.

해당 작업은 많은 리소스를 요구하기 때문에 실시간으로 처리하기 어렵습니다. NVIDIA 연구팀은 이를 극복하기 위해 최종 이미지에 가장 큰 영향을 주는 빛 패스(light path)와 리플렉션을 선별하는 패스 샘플링 알고리즘을 개발했습니다. 새로운 알고리즘은 기존 대비 약 100배 이상 빠른 이미지 렌더링을 제공합니다.

강력한 성능의 뉴럴 래디언스 캐싱(neural radiance caching)

NVIDIA의 또 다른 연구성과인 뉴럴 래디언스 캐싱은 글로벌 일루미네이션(global illumination)을 혁신하는 새로운 기법입니다. 뉴럴 래디언스 캐싱은 레이 트레이싱을 위한 NVIDIA RT 코어와 AI 가속화를 위한 Tensor Core를 모두 활용해 극소형 신경망(tiny neural network)을 실시간으로 훈련하여 역동적인 장면을 렌더링합니다.

극소형 신경망은 빛이 장면 전체에 분산되는 방식을 학습합니다. NVIDIA GeForce RTX 3090 GPU에서 구동 시 초당 10억 개가 넘는 글로벌 일루미네이션 쿼리를 평가하여 기존의 인터랙티브 방식 프레임 속도로는 얻을 수 없었던 풍부하고 섬세한 빛을 생성합니다. 이는 호랑이의 빽빽한 털 등을 묘사할 때 활용될 수 있죠.

질감을 매끄럽게 구현하는 NVIDIA의 그래픽 기술

렌더링 알고리즘이 더욱 복잡하고 풍부한 그래픽을 표현하게 되면서 크리에이터 또한 이에 부응하는 3D 콘텐츠를 제공할 수 있어야 합니다.

NVIDIA 연구팀은 풍부하고 현실적인 3D 환경을 모델링하는 다양한 기술을 개발해 콘텐츠 크리에이터를 지원하고 있습니다. 특히 기존 기법으로 시뮬레이션 하기 어려운 세밀하고 복잡한 질감의 소재를 보다 사실적으로 구현하는 기술에 주력하고 있죠.

예를 들어, 폴로셔츠의 짜임새, 카펫, 풀잎의 질감 등은 피처(feature)가 픽셀의 크기보다 훨씬 작아 효율적으로 저장하고 렌더링하기 어려울 수 있습니다. NVIDIA 연구팀은 신경망을 활용해 까다로운 소재를 표현하고 빛에 반응하는 방식을 인코딩하는 너프 텍스(NeRF-Tex)를 통해 이러한 문제를 해결합니다.

숲과 나무를 모두 구현하는 기술

복잡한 기하학적 오브젝트는 보는 거리에 따라 모습이 달라질 수 있습니다. 잎이 무성한 나무를 가까이서 보면 가지나 잎, 나무껍질 등의 디테일한 요소를 관찰할 수 있지만, 멀리서는 단순한 녹색 물체 정도로만 보일 수 있습니다.

멀리서 보이는 숲의 나무 한 그루를 껍질과 잎까지 상세히 렌더링하는 것은 다소 비효율적이지만, 카메라를 줌인해 클로즈업할 경우 모델이 최대한 사실적으로 보여야 합니다.

이는 디테일 수준(level of detail)이라 불리는 컴퓨터 그래픽의 대표적인 난관인데요. 아티스트들이 종종 해결해야 하는 난관인 디테일 수준은 효율적인 렌더링을 위해 3D 오브젝트를 여러 버전으로 일일이 모델링 해야 하는 부담을 불러옵니다.

NVIDIA 연구팀은 인버스 렌더링(inverse rendering)에 기초해 단순화 모델을 자동으로 생성하는 새로운 기술을 개발했습니다. 이로써 생성된 단순화 모델은 최적화를 통해 원본과 거의 유사하게 보일 수 있고, 기하학적 복잡성을 대폭 개선합니다.

시그라프 2021에서 다양한 기술을 선보이는 NVIDIA

전 세계 200명 이상의 과학자로 구성된 NVIDIA 연구팀은 AI와 컴퓨터 그래픽, 컴퓨터 비전, 자율주행 자동차, 로보틱스 등을 집중적으로 연구합니다. NVIDIA 연구팀은 8월 9일부터 13일까지 진행되는 시그라프에서 다음의 논문을 발표할 예정입니다.

이 외에도 8월 11일 오전 8시 30분(한국시간)에 공개되는 NVIDIA 실시간 라이브 데모를 통해 NVIDIA 연구팀이 AI 기반 디지털 아바타를 구축하는 방법을 살펴볼 수 있습니다.

또한 NVIDIA는 8월 11일 실시간 그래픽의 과제로서의 e스포츠를 논의하는 자리에 패널로 참여하며, 인터랙티브 e스포츠 데모가 시그라프 이머징 테크놀로지(SIGGRAPH Emerging Technologies) 프로그램에서 온디맨드 형식으로 제공됩니다.

자세한 내용은 시그라프 2021에서 진행되는 NVIDIA 행사 라인업에서 확인할 수 있습니다.