편집자 노트: 본 게시물은 RTX PC 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구, 가속화를 보여주는 동시에 기술의 접근성을 높여 AI를 쉽게 이해하도록 돕기 위해 작성된 NVIDIA의 AI Decoded 시리즈의 일부입니다.
물가를 따라 펼쳐진 절벽처럼 멋진 풍경을 상상해 보세요. 2D 이미지로 봐도 아름답고 매력적인 장면이겠죠. 이런 풍경을 직접 현장에 가지 않고도 3D로 탐색할 수 있다면 어떨까요?
NVIDIA RTX 기술 기반 AI 기술은 이러한 상상을 현실로 만들어 줍니다. 크리에이터는 Instant NeRF를 사용하여 스틸 이미지 컬렉션을 단 몇 초 만에 디지털 3D 장면으로 변환할 수 있습니다.
간단하게 빛나는
NeRF, 또는 신경 방사 필드(Neural radiance field)는 장면을 나타내는 2D 이미지를 입력으로 사용하고 이미지 사이를 보간하여 완전한 3D 장면을 렌더링하는 AI 모델입니다. 이 모델은 뇌가 구성되는 방식을 그대로 따라 하고 패턴 인식이 필요한 작업에 자주 사용되는 모델인 뉴럴 네트워크로 작동합니다.
공간 위치 및 볼륨 렌더링을 사용하는 NeRF는 이미지의 카메라 포즈를 사용하여 장면의 3D 반복을 렌더링합니다. 일반적으로 이러한 모델은 컴퓨팅 집약적이며 렌더링에 많은 양의 전력과 시간이 소요됩니다.
그러나 최근 NVIDIA AI 연구 프로젝트가 이러한 상황을 변화시켰습니다.
Instant NeRF는 AI 가속 역 렌더링을 통해 빛이 실제 세계에서 어떻게 움직이는지 대략적으로 파악하여 NeRF를 한 차원 더 높은 수준으로 끌어올립니다. 이를 통해 연구원들은 다양한 각도에서 촬영한 2D 이미지로 3D 장면을 구성할 수 있습니다. 이제 몇 초 만에 장면을 생성할 수 있으며, NeRF 모델의 훈련 시간이 길어질수록 3D 결과물이 더 상세하게 렌더링됩니다.
NVIDIA 연구원들은 2022년에 열린 SIGGRAPH 컴퓨터 그래픽스 컨퍼런스에서 Instant-NGP 훈련 도구 모음의 일부로 4가지 기본 뉴럴 그래픽 요소 또는 사전 훈련된 데이터세트를 출시했습니다. 이 도구를 사용하면 누구나 자신의 데이터로 NeRF를 만들 수 있습니다. 연구원들은 이 연구로 최우수 논문상을 받았으며 타임지에서는 Instant NeRF를 2022년 최고의 발명품으로 선정하기도 했습니다.
Instant NeRF는 NeRF의 렌더링 속도를 높이는 것 외에도 NVIDIA RTX & GeForce RTX 데스크톱 및 노트북 GPU를 사용하여 전체 이미지 재구성 프로세스에 액세스할 수 있도록 합니다. 장면을 렌더링하는 데 걸리는 시간은 데이터세트 크기와 이미지 및 영상 소스 콘텐츠의 조합과 같은 요인에 따라 다르지만 AI 훈련에는 서버급 또는 클라우드 기반 하드웨어가 필요하지 않습니다.
NVIDIA RTX 워크스테이션과 GeForce RTX PC는 NeRF 렌더링의 컴퓨팅 요구사항을 충족하는 데 이상적인데요. NVIDIA RTX 및 GeForce RTX GPU는 생성형 AI를 로컬에서 실행할 수 있는 성능을 지원하는 전용 AI 하드웨어 가속기인 Tensor Core를 제공합니다.
준비하시고, 시작하세요
Instant NeRF를 시작하여 방사 필드에 대해 알아보고 새로운 방식으로 이미지를 경험하세요.
개발자와 기술 애호가는 소스 코드 베이스를 다운로드하여 컴파일할 수 있습니다. 기술 지식이 없는 사용자는 GitHub에서 제공되는 소프트웨어인 Instant-NGP용 Windows 설치 프로그램을 다운로드할 수 있습니다.
설치 프로그램은 광범위한 RTX GPU에서 사용할 수 있지만, 프로그램 자체는 최신 아키텍처의 GeForce RTX 40 시리즈 및 NVIDIA RTX Ada 세대 GPU에서 최상의 성능을 발휘합니다.
‘nstant NeRF 시작하기’ 가이드는 사용자에게 ‘NeRF Fox’와 같은 기초 요소 중 하나를 로드하여 무엇이 가능한지 이해하는 등의 과정을 안내합니다. 위와 같은 상세한 지침과 영상 가이드는 좋은 입력 이미지를 캡처하고 코드베이스를 컴파일링(소스에서 구축한 경우)하기 위한 팁을 포함하여 맞춤형 데이터로 NeRF를 만드는 방법을 보여줍니다. 이 가이드에서는 Instant NeRF 그래픽 사용자 인터페이스 사용하기, 장면 매개 변수 최적화하기, 장면으로 애니메이션 제작하기 등도 다룹니다.
NeRF 커뮤니티는 또한 사용자가 시작하는 데 도움이 되는 많은 팁과 요령을 제공합니다. 예를 들어 아래의 라이브스트리밍과 기술 블로그 게시물에서 확인할 수 있습니다.
이미지로 이야기를 전달하세요
디지털 아티스트는 NVIDIA Instant NeRF를 통해 아름다운 장면을 구성하고 참신한 이야기를 전합니다. Instant NeRF 갤러리는 모든 웹 브라우저에서 영상 클립으로 볼 수 있는 혁신적이고 생각을 불러일으키는 몇 가지 예를 보여줍니다.
다음은 몇 가지 예시입니다.
‘거울 너머‘: Karen X. Cheng 및 James Perlman
피아니스트가 일상적인 루틴대로 연주를 연습합니다. 그러나 그다음에 일어나는 일은 일상적이지 않습니다. 시청자는 관찰할 수 있지만 들어갈 수는 없는 가상 세계인 거울을 들여다봅니다. 이 가상 세계는 일반적인 방법으로는 도달할 수 없습니다. 그런데 문지방을 넘자 이 거울 속 세계가 내부를 실제로 탐색할 수 있는 뒤집힌 현실이라는 것이 드러납니다. 어느 것이 진짜일까요?
‘명상‘: Franc Lucent
Lucent는 Nico Santucci의 저택에 있는 여러 방 중 하나에 들어가자마자 이 방을 NeRF로 옮겨 놓아야 한다는 것을 깨달았습니다. 호수의 명암비와 반사를 가지고 놀며 아티스트는 미지의 세계를 탐험하게 됩니다. 그들은 빛의 부드러움과 NeRF가 방을 명상하기에 좋은 몽환적인 공간으로 탈바꿈하는 방식에 만족했습니다. NeRF는 사진이나 영상보다 더 몰입감 있는 방식으로 순간을 정지할 수 있습니다.
‘제우스‘: Hugues Bruyère
Instant NeRF를 통해 렌더링된 3D 장면은 Bruyère가 이전에 미러리스 디지털카메라, 스마트폰, 360도 카메라 및 드론을 사용해 기존 사진 측량용으로 캡처한 데이터를 사용했습니다. Instant NeRF는 그에게 온라인 라이브러리, 박물관, 가상 현실 경험 및 유산 보존 프로젝트를 통해 문화적 유물을 보존하고 공유하는 데 도움이 되는 강력한 도구를 제공합니다. 이 NeRF는 로열 온타리오 박물관에서 iPhone으로 찍은 사진 데이터세트를 사용하여 훈련되었습니다.
이미지에서 현실 같은 영상으로
AI를 통해 이미지를 3D 장면으로 변환하는 것은 멋진 일입니다. 그렇게 탄생한 3D 장면 속으로 직접 걸어 들어가는 건 어떨까요?
최근 Instant NeRF 업데이트로 사용자는 정적 이미지에서 장면을 렌더링하고 그 가상 환경 속으로 들어가 3D 공간 내에서 자유롭게 돌아다닐 수 있습니다. 가상 현실(VR) 환경에서 사용자는 헤드셋을 쓰고 새로운 세계에 완전히 몰입할 수 있습니다.
잠재적인 이점은 무궁무진합니다.
예를 들어, 부동산 중개인은 부동산의 3D 모델을 만들고 공유하여 차원이 다른 가상 투어를 제공할 수 있습니다. 소매업체는 RTX GPU에서 실행되는 이미지 및 AI 컬렉션을 기반으로 온라인 숍에서 제품을 선보일 수 있습니다. 이러한 AI 모델은 크리에이티브를 지원하며 여러 산업 전반에서 몰입형 3D 경험의 접근성을 높이는 데 도움을 주고 있습니다.
Instant NeRF는 VR에서 장면을 쉽게 정리할 수 있는 기능과 함께 제공되므로 고품질 NeRF를 그 어느 때보다 직관적으로 만들 수 있습니다. VR에서 Instant NeRF 공간을 탐색하는 방법에 대해 자세히 알아보세요.
Instant-NGP를 다운로드하여 시작하고 #InstantNeRF 해시태그를 달아 소셜 미디어에 작품을 공유하세요.
생성형 AI는 게이밍, 화상 회의 등 모든 인터랙티브 경험을 변화시키고 있습니다. AI Decoded 뉴스레터를 구독하여 새로운 기능과 업데이트를 알아보세요.