NVIDIA 연구원들은 시각적 생성형 AI를 위한 멀티모달 아키텍처인 NVIDIA Edify를 사용해 지난 화요일 SIGGRAPH의 실시간 라이브 이벤트에서 라이브 데모를 통해 몇 분 안에 상세한 3D 사막 풍경을 구축하는 데 성공했습니다.
저명한 그래픽 컨퍼런스 중 하나인 이 행사에서 NVIDIA 연구원들은 AI 에이전트의 지원을 받아 5분 이내에 사막 풍경을 처음부터 구축하고 편집하는 방법을 시연했습니다. 라이브 데모에서는 생성형 AI가 아이디어 도출을 가속화하고 리포지토리에서 소싱할 수 있었던 맞춤형 보조 에셋을 생성함으로써 아티스트의 보조자 역할을 할 수 있는 방법을 강조했습니다.
이러한 AI 기술은 아이디어 도출 시간을 획기적으로 단축하여 3D 아티스트의 생산성과 창의성을 높여주며, 콘셉트를 더 빠르게 탐색하고 워크플로우의 일부를 신속하게 진행할 수 있는 툴을 제공합니다. 예를 들어, 씬에 필요한 배경 에셋이나 360 HDRi 환경을 찾거나 제작하는 데 몇 시간을 소비하는 대신 몇 분 만에 생성할 수 있습니다.
아이디어에서 3D 씬까지 3분 만에 완성하기
완전한 3D 씬을 제작하는 것은 복잡하고 시간이 많이 소요되는 작업입니다. 아티스트는 풍부한 씬을 만들기 위해 많은 배경 오브젝트로 영웅 에셋을 지원한 다음, 적절한 배경과 라이팅을 위한 환경 맵을 찾아야 합니다. 시간 제약으로 인해 아티스트는 종종 빠른 결과물과 창의적인 탐색 사이에서 절충점을 찾아야 했습니다.
AI 에이전트의 지원으로 크리에이티브 팀은 콘셉트를 빠르게 구현하고 적절한 룩을 얻기 위해 반복 작업을 계속하는 두 가지 목표를 모두 달성할 수 있습니다.
실시간 라이브 데모에서 연구원들은 AI 에이전트를 사용하여 NVIDIA Edify 기반 모델에 선인장, 바위, 황소의 두개골을 포함한 수십 개의 3D 에셋을 생성하도록 지시했으며, 단 몇 초 만에 프리뷰를 생성했습니다.
그런 다음 에이전트에게 다른 모델을 활용하여 잠재적인 배경과 오브젝트를 장면에 배치할 레이아웃을 만들도록 지시하고, 돌을 금덩어리로 빠르게 교체하여 크리에이티브 방향의 갑작스러운 변경에 어떻게 대처할 수 있는지 보여주었습니다.
디자인 계획이 수립된 후에는 에이전트가 고퀄리티 에셋을 생성하고 가상 세계 구축용 앱인 NVIDIA Omniverse USD Composer에서 씬을 실사 이미지로 렌더링하도록 했습니다.
환경 생성을 가속화하는 NVIDIA Edify
NVIDIA Edify 모델은 크리에이터가 AI 기반 씬 생성 툴을 사용하여 배경 환경과 오브젝트 생성을 가속화하면서 영웅 에셋에 집중할 수 있도록 지원합니다. 실시간 라이브 데모에서는 두 가지 Edify 모델을 선보였습니다:
- Edify 3D는 텍스트 또는 이미지 프롬프트에서 바로 편집 가능한 3D 메시를 생성합니다. 이 모델은 몇 초 안에 각 오브젝트의 회전 애니메이션을 포함한 프리뷰를 생성하여 제작자가 특정 디자인을 확정하기 전에 빠르게 프로토타입을 제작할 수 있도록 지원합니다.
- Edify 360 HDRi는 텍스트 또는 이미지 프롬프트를 사용하여 자연 경관의 최대 16K 하이 다이내믹 레인지 이미지(HDRi)를 생성하여 배경 및 조명 장면으로 사용할 수 있습니다.
연구진은 이번 데모에서 거대 언어 모델로 구동되는 AI 에이전트와 3D 워크플로우 플랫폼인 OpenUSD를 사용해 장면 레이아웃을 생성하는 AI 모델인 USD 레이아웃도 선보였습니다.
또한, NVIDIA는 SIGGRAPH에서 두 개의 선도적인 크리에이티브 콘텐츠 기업이 디자이너와 아티스트에게 NVIDIA Edify 기반 툴을 사용해 생성형 AI로 생산성을 높일 수 있는 새로운 방법을 제공하고 있다고 발표했습니다.
Shutterstock은 크리에이터가 텍스트 또는 이미지 프롬프트를 사용해 3D 에셋을 빠르게 프로토타이핑하고 생성할 수 있는 생성형 3D 서비스를 상용 베타 버전으로 출시했습니다. Edify 기반의 360 HDRi 제너레이터도 얼리 액세스로 제공됩니다.
Getty Images는 최신 버전의 NVIDIA Edify로 Generative AI by Getty Images 서비스를 업데이트했습니다. 이제 사용자는 향상된 출력 품질과 신속한 준수, 고급 제어 및 파인 튜닝을 통해 이미지를 두 배 더 빠르게 생성할 수 있습니다.
NVIDIA Omniverse에서 유니버설 씬 디스크립션 활용하기
Edify 모델을 사용하여 생성된 3D 오브젝트, 환경 맵 및 레이아웃은 3D 월드의 설명 및 구성을 위한 표준 포맷인 USD로 구성됩니다. 이러한 호환성을 통해 아티스트는 Edify 기반 창작물을 Omniverse USD Composer로 즉시 임포트할 수 있습니다.
컴포저 내에서 인기 있는 디지털 콘텐츠 제작 툴을 사용하여 오브젝트의 위치를 변경하거나 모양을 수정하거나 조명을 조정하는 등 씬을 추가로 수정할 수 있습니다.
실시간 라이브는 생성형 AI, 가상 현실 및 라이브 공연 캡처 기술을 포함한 약 12개의 실시간 애플리케이션을 선보이는 SIGGRAPH에서 가장 기대되는 이벤트 중 하나입니다. 아래에서 다시 보기를 시청하세요.