편집자 주: 본 게시물은 RTX PC 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구, 가속화를 보여주는 동시에 기술의 접근성을 높여 AI를 쉽게 이해하도록 돕기 위해 작성된 NVIDIA의 AI Decoded 시리즈의 일부입니다.
AI는 PC 게이밍의 기준을 계속해서 높이고 있습니다.
광선 재구성(Ray Reconstruction)을 갖춘 DLSS 3.5는 집약적인 레이 트레이싱이 적용된 게임과 앱을 위해 더 높은 품질의 레이 트레이싱이 적용된 이미지를 생성합니다. 이 최첨단 AI 기반 뉴럴 렌더러는 NVIDIA 슈퍼컴퓨터로 훈련된 AI 네트워크를 사용하여 모든 GeForce RTX GPU의 레이 트레이싱이 적용된 이미지 품질을 향상하는 획기적인 기능으로, 기존의 수작업으로 조정된 노이즈 제거기를 능가합니다. 그 결과 반사, 전역 조명 및 음영과 같은 조명 효과가 개선되어 더욱 몰입감 있고 사실적인 게이밍 경험을 제공합니다.
광선
레이 트레이싱은 물리적으로 정확한 반사, 굴절, 음영 및 간접광을 렌더링하여 장면과 그 물체의 조명을 사실적으로 시뮬레이션할 수 있는 렌더링 기술입니다. 레이 트레이싱은 장면에 대한 시야를 결정하는 뷰 카메라의 빛이 2D 보기 평면을 통해 3D 장면으로, 그리고 다시 광원으로 이동하는 경로를 추적하여 컴퓨터 그래픽스 이미지를 생성합니다. 예를 들어, 광선이 거울에 부딪히면 반사가 생성됩니다.
이는 광선으로 비춰지는 실제 물체와 보는 이의 눈에서 빛이 상호 작용하는 물체까지 이어지는 빛의 경로를 디지털 방식으로 표현한 것과 같습니다. 이것이 바로 레이 트레이싱입니다.
화면의 모든 픽셀에 광선을 쏘는 이러한 방식으로 조명을 시뮬레이션하는 것은 몇 분 또는 몇 시간에 걸쳐 장면을 계산하는 오프라인 렌더러의 경우에도 컴퓨팅 집약적인 작업입니다. 그 대신, 광선 샘플은 장면의 조명, 반사도 및 음영의 대표적인 샘플을 위해 장면 전반의 다양한 지점에서 소수의 광선을 발사합니다.
하지만 한계가 있습니다. 출력은 노이즈가 많고 빈틈이 있는 얼룩덜룩한 이미지로, 레이 트레이싱 적용 시 장면이 어떻게 보여야 하는지를 확인하기에 충분한 정도입니다. 레이 트레이싱이 적용되지 않은 누락된 픽셀을 채우기 위해 수동으로 조정된 노이즈 제거기는 두 가지 방법을 사용합니다. 하나는 여러 프레임에서 일시적으로 픽셀을 누적하고, 다른 하나는 공간적으로 보간하여 주변 픽셀을 함께 혼합합니다. 이 프로세스를 통해 노이즈가 있는 원시 출력이 레이 트레이싱이 적용된 이미지로 변환됩니다.
이는 개발 프로세스에 복잡성과 비용을 가중시키며 여러 노이즈 제거기가 서로 다른 조명 효과를 위해 동시에 작동하는 높은 수준의 레이 트레이싱이 적용된 게임에서 프레임 레이트를 낮춥니다.
DLSS 3.5 광선 재구성은 샘플링된 광선 사이에서 더 높은 품질의 픽셀을 생성하는 NVIDIA 슈퍼컴퓨터로 훈련된 AI 기반 뉴럴 네트워크를 도입합니다. 다양한 레이 트레이싱 효과를 인식하여 시공간 데이터 사용에 대한 더 스마트한 결정을 내리고, 우수한 품질의 업스케일링을 위해 고주파 정보를 유지합니다. 또한 훈련 데이터에서 전역 조명 또는 앰비언트 오클루젼과 같은 조명 패턴을 인식하고 인게임으로 재창조합니다.
Portal with RTX는 광선 재구성이 실제로 적용된 훌륭한 예입니다. DLSS를 사용하지 않으면 노이즈 제거기가 움직이는 팬을 따라 동적 음영을 재구성하는 데 어려움을 겪습니다.
DLSS 3.5 및 레이 재구성을 사용하면 노이즈 제거기가 AI에 대해 훈련되고 음영과 관련된 특정 패턴을 인식하며 이미지를 안정적으로 유지하여 정확한 픽셀을 축적하는 동시에 주변 픽셀을 혼합하여 고품질의 반사를 생성합니다.
딥 러닝, 딥 게이밍
광선 재구성은 DLSS의 성능을 배가시키는 AI 그래픽 혁신 중 하나에 불과합니다. DLSS의 기반인 Super Resolution은 낮은 해상도의 여러 이미지를 샘플링하고, 이전 프레임의 모션 데이터와 피드백을 사용하여 네이티브 품질 이미지를 재구성합니다. 그 결과 게임 성능을 저하시키지 않으면서 높은 이미지 품질을 얻을 수 있습니다.
DLSS 3는 AI를 사용하여 주변 프레임의 데이터를 분석하여 다음에 생성되는 프레임의 모습을 예측함으로써 성능을 향상하는 프레임 생성을 도입했습니다. 이렇게 생성된 프레임은 렌더링된 프레임 사이에 삽입됩니다. DLSS로 생성된 프레임을 DLSS 초고해상도와 결합하면 DLSS 3가 AI를 사용하여 표시된 픽셀의 8분의 7을 재구성하여 DLSS를 사용하지 않은 경우에 비해 프레임 레이트를 최대 4배 향상할 수 있습니다.
DLSS 프레임 생성은 GPU에서 후처리되기(메인 렌더링 후 적용) 때문에, CPU로 인해 게임에 병목 현상이 발생하는 경우에도 프레임 레이트를 향상시킬 수 있습니다.
생성형 AI는 게이밍, 화상 회의 등 모든 인터랙티브 경험을 변화시키고 있습니다. AI Decoded 뉴스레터를 구독하고 새로운 기능과 업데이트를 알아보세요.