NVIDIA는 시그라프(SIGGRAPH) 스페셜 이벤트에서 그래픽의 다음 시대를 주도하는 힘과 이를 가속화하기 위한 NVIDIA의 확장 도구 범위에 대해 발표했습니다.
NVIDIA 설립자 겸 CEO인 젠슨 황(Jensen Huang)은 “AI와 컴퓨터 그래픽의 결합은 인터넷 차세대 진화인 메타버스를 강화할 것이며, 이는 연결된 가상 세계와 디지털 트윈의 고향이자 실제 업무와 놀이를 위한 장소가 될 것입니다. 더불어 가장 인기 있는 로봇 형태 중 하나가 될 디지털 휴먼 아바타로 메타버스에 활기를 불어넣을 것”이라고 설명하며, 45분간의 강연을 시작했습니다.
NVIDIA는 45개의 데모와 슬라이드를 통해 다음과 같이 발표했습니다.
- 아바타 생성을 위한 새로운 플랫폼인 NVIDIA Omniverse Avatar Cloud Engine(ACE)
- 메타버스 언어인 USD(Universal Scene Description) 구축 계획
- 가상 세계 디지털 트윈 생성을 위한 컴퓨팅 플랫폼인 NVIDIA Omniverse의 주요 확장
- 머신 러닝으로 그래픽 워크플로우를 강화하는 도구
젠슨 황은 “오늘 발표한 내용은 새로운 프로그래밍 모델, 새로운 아키텍처 및 표준을 갖춘 최신 컴퓨팅 플랫폼인 메타버스를 더욱 발전시킵니다. 특히 증강 현실로 시도할 수 있는 가상 3D 제품, 통신사가 무선 타워를 최적화하고 배포하기 위해 무선 네트워크의 디지털 트윈을 생성하는 회사, 레이아웃과 물류를 최적화하기 위해 창고 및 공장의 디지털 트윈을 생성하는 회사들이 이에 해당한다”며, 메타버스 애플리케이션은 이미 시작됐다고 강조했죠.
아바타 도입
아바타는 디지털 공장에서 일하고 온라인 게임에서 즐기고 전자 상거래를 위한 고객 서비스를 제공할 것입니다.
젠슨 황은 “수십억 개의 아바타가 존재할 것이며, Omniverse에서 설계, 훈련, 운영될 가장 널리 사용되는 로봇 중 하나가 될 것”이라고 말했습니다.
디지털 휴먼과 아바타는 자연어 처리, 컴퓨터 비전, 복잡한 얼굴과 신체 애니메이션 등이 필요한데요. 즉, 현실적으로 움직이고 말하기 위해 복잡한 기술을 밀리초 단위로 동기화해야 하죠.
NVIDIA가 Omniverse Avatar Cloud Engine으로 단순화, 가속화를 목표로 하는 것은 어려운 작업입니다. 여기서 ACE는 대화형 AI부터 Audio2Face, Audio2Emotion과 같은 애니메이션 도구에 이르기까지 NVIDIA의 작업을 기반으로 하는 AI 모델과 서비스 모음입니다.
NVIDIA 그래픽 및 AI 담당 이사인 사이먼 위엔(Simon Yuen)은 “Omniverse ACE를 통해 개발자는 퍼블릭 또는 프라이빗 클라우드의 모든 엔진에서 아바타 애플리케이션을 구축, 구성, 배포할 수 있습니다. 이를 통해 우리는 모든 플랫폼에 대화형 아바타 구축이 대중화되는 것을 목표로 합니다”고 전했죠.
ACE는 내년 초 임베디드 시스템과 모든 주요 클라우드 서비스에서 실행될 예정입니다.
또한 위엔은 “우리는 감정을 분석하고 자동으로 아바타에 전송하는 기능을 추가했다”며, 음성에서 직접 얼굴 애니메이션을 만들 수 있는 AI 모델인 Omniverse Audio2Face의 최신 버전도 시연했습니다.
Audio2Face의 향후 버전은 단일 사진으로 아바타를 생성해 질감을 자동으로 적용하고 애니메이션용 3D 메시를 생성합니다. 또한 AI가 비디오를 보고 배울 수 있는 근육 움직임의 충실도가 높은 시뮬레이션을 자랑할 것입니다. 가상 그루밍에 예측대로 반응하는 실물 같은 머리카락도 마찬가지죠.
3D 인터넷 기반 USD
메타버스 초강대국들은 3D 인터넷의 토대인 USD를 기반으로 합니다.
NVIDIA Omniverse 및 시뮬레이션 기술 부사장인 레브 레바레디안(Rev Lebaredian)은 “메타버스는 3D 세계의 모든 것을 설명하는 표준 방법이 필요합니다. 우리는 픽사(Pixar)가 개발하고 오픈 소스로 제공하는 USD가 인터넷의 다음 시대를 위한 표준 장면 설명이라고 믿습니다”며, 2D 웹에서 USD를 HTML과 비교하면서 덧붙였습니다.
또한 레바레디안은 USD가 실제 세계보다 더 많은 기회를 여는 열쇠가 될 것이라고 설명했는데요.
그는 “우리는 실시간 대규모 가상 세계와 산업용 디지털 트윈에서 USD의 성능을 높이는 것을 목표로 하고 있습니다”고 말하며, 국제 문자 세트, 지리 공간 좌표 및 IoT 데이터의 실시간 스트리밍에 대한 USD 지원을 구축하기 위한 NVIDIA의 계획을 언급했습니다.
NVIDIA는 USD 채택을 가속화하기 위해 USD에 대한 호환성 테스트, 인증 제품군을 출시할 예정입니다. 이를 통해 개발자는 맞춤형 USD 구성 요소가 예상한 결과를 생성한다는 것을 알 수 있습니다.
또한 NVIDIA는 산업용 디지털 트윈 및 AI 교육 워크플로우에 사용할 수 있도록 설계된 시뮬레이션 지원 USD 애셋 세트를 발표했습니다. 이는 USD 준비 장면, 주문형 튜토리얼, 문서 작성 및 강사 주도 과정을 포함해 온라인에서 무료 제공되는 다양한 USD 리소스에 포함됩니다.
레바레디안은 “우리는 모두가 USD를 구축하고 발전시킬 수 있도록 도움이 되길 바랍니다”고 전했습니다.
팔레트를 확장하는 Omniverse
스페셜 이벤트에서 가장 중요한 발표 중 하나는 약 200,000회 다운로드된 플랫폼인 NVIDIA Omniverse의 새 릴리스입니다.
젠슨 황은 Omniverse를 “USD 플랫폼, 메타버스 애플리케이션 구축을 위한 툴킷, 가상 세계를 실행하기 위한 컴퓨팅 엔진”이라고 불렀습니다.
최신 버전에는 몇 가지 업그레이드된 핵심 기술과 인기 있는 도구에 대한 더 많은 연결을 제공합니다.
Omniverse Connector라고 불리는 링크는 현재 유니티(Unity), 블렌더(Blender), 오토데스크 알리아스(Autodesk Alias), 지멘스(Siemens) JT, 심스케일(SimScale), 개방형 공간 정보 컨소시엄(Open Geospatial Consortium) 등을 위해 개발 중입니다. Connector는 PTC 크레오(Creo), 비주얼 컴포넌츠(Visual Components) 및 사이드(Side)FX 후디니(Houdini)용 베타 버전으로 제공됩니다. 이러한 새로운 개발은 Omniverse 네트워크의 일부인 지멘스 액셀러레이터(Siemens Xcelerator)에 합류해 더 많은 산업 고객을 디지털 트윈 시대로 맞이합니다.
NVIDIA의 전문 그래픽 담당 부사장인 스티브 파커(Steve Parker)는 인터넷과 마찬가지로 Omniverse는 산업과 분야 전반에 걸쳐 사용자를 연결하는 “네트워크의 네트워크”라고 말했습니다.
AWS와 어도비(Adobe)에서 델(Dell), 에픽(Epic) 및 마이크로소프트(Microsoft)에 이르는 하드웨어, 소프트웨어 및 클라우드 서비스 공급업체를 포함해 대략 12개의 기업들이 시그라프에서 Omniverse 기능을 선보입니다. 또한 6개의 파트너가 AI, 가상 세계와 같은 주제에 대해 NVIDIA 기반 세션을 진행하죠.
과속 물리학, 동물 애니메이션
파커는 Omniverse에서 몇 가지 기술 업그레이드를 자세히 설명했습니다. 여기에는 MDL(Material Definition Language)을 사용한 물리적으로 정확한 재료 시뮬레이션, 피직스(PhysX)를 사용한 실시간 물리학, 하이브리드 렌더링과 AI 시스템인 RTX가 포함되죠.
파커는 “이러한 핵심 기술 축은 엣지에서 클라우드에 이르는 NVIDIA 고성능 컴퓨팅에 의해 구동됩니다”라고 말했습니다.
예를 들어, 피직스(PhysX)는 소프트 바디와 입자 천 시뮬레이션을 지원하여 실시간으로 가상 세계에 더 많은 물리적 정확도를 제공합니다. NVIDIA는 완전히 오픈 소스 MDL이므로 오픈(Open)GL 또는 벌칸(Vulkan)과 같은 그래픽 API 표준을 쉽게 지원할 수 있으므로 개발자가 재료 표준을 보다 광범위하게 사용할 수 있습니다.
Omniverse에는 NVIDIA Research에서 개발한 RTX 그래픽과 AI를 결합하는 신경 그래픽 기능도 포함됩니다. 예를 들어:
- Animal Modelers를 사용하면 아티스트가 포인트 클라우드로 동물의 형태를 반복한 후 자동으로 3D 메시를 생성할 수 있습니다.
- NVIDIA GauGAN의 차세대 버전인 GauGAN360은 Omniverse 장면에 쉽게 로드할 수 있는 8K, 360도 파노라마를 생성합니다.
- Instant NeRF는 2D 이미지에서 3D 객체와 장면을 만듭니다.
머신 러닝 프레임워크인 NVIDIA Modulus용 Omniverse Extension을 통해 개발자는 AI를 사용해 실제 물리 시뮬레이션 속도를 최대 10만 배까지 높일 수 있는데요. 이로 인해 메타버스는 실제 세계처럼 보이고 느껴집니다.
또한 시그라프의 활발한 콘테스트 주제인 Omniverse Machinima는 포스트 스크립텀(Post Scriptum), 비욘드 더 와이어(Beyond the Wire) 및 쉐도우 워리어(Shadow Warrior) 3의 콘텐츠와 Audio2Gesture와 같은 새로운 AI 애니메이션 도구를 제공합니다.
ILM(Industrial Light & Magic)의 데모는 또 다른 새로운 기능을 보여주는데요. Omniverse DeepSearch는 AI를 활용해 팀이 태그가 지정되지 않은 자산의 방대한 데이터베이스를 직관적으로 검색할 수 있도록 지원합니다. 메타데이터에 구체적으로 나열되지 않은 경우에도 용어에 대한 정확한 결과를 제공하죠.
스마트해진 그래픽
신흥 메타버스의 필수 축 중 하나는 Neural Graphics입니다. 뉴럴 모델을 활용해 컴퓨터 그래픽을 가속화하고 향상시키는 하이브리드 분야이죠.
NVIDIA AI의 부사장인 산자 피들러(Sanja Fidler)는 “뉴럴 그래픽은 AI와 그래픽을 결합해 데이터로부터 학습할 수 있는 미래 그래픽 파이프라인의 길을 열어줍니다. 뉴럴 그래픽은 사용자가 가상 세계를 만들고 시뮬레이션하고 경험하는 방법을 재정의할 것”이라고 말했습니다.
AI는 아티스트가 메타버스를 만드는 데 필요한 방대한 양의 3D 콘텐츠를 생성하는 데 도움이 될 것입니다. 예를 들어, Neural Graphics을 사용해 물리적 세계의 사물과 행동을 빠르게 포착할 수 있습니다.
피들러는 2D 이미지에서 3D 객체 또는 장면을 생성하는 도구인 Instant NeRF를 수행하는 NVIDIA 소프트웨어를 설명했습니다. 이는 시그라프에서 NVIDIA 연구진이 발표한 총 16개의 논문 가운데 두 개의 최우수 논문상 중 하나의 주제이죠.
다른 최우수 논문상에서는 Neural Graphics이 e스포츠 및 AR/VR 애플리케이션에서 반응 지연을 예측하고 줄일 수 있는 모델을 지원합니다.
시그라프에서 NVIDIA가 공개한 새로운 소프트웨어 개발 키트로 디자이너와 연구원은 뉴럴 그래픽 및 기타 기술을 적용해 자신만의 작품을 만들 수 있습니다.
피들러는 그 중 하나인 카올린 위스프(Kaolin Wisp)를 설명했는데요. 카올린 위스프는 몇 줄의 코드로 3D 장면 또는 물체를 나타내는 AI 모델 신경 분야를 생성하는 도구 모음입니다.
이와 별도로 NVIDIA는 NeuralVDB를 발표했습니다. 이는 시각 효과에서 과학 컴퓨팅에 이르기까지 물, 화재, 연기 및 클라우드를 시뮬레이션하고 렌더링하는 오픈 소스 표준 오픈(Open)VDB의 차세대 진화입니다.
뉴럴VDB는 신경 모델과 GPU 최적화를 사용해 메모리 요구 사항을 크게 줄입니다. 이로 인해 사용자는 매우 크고 복잡한 데이터 세트와 실시간으로 상호 작용하고 더 효율적으로 공유할 수 있죠.
젠슨 황은 “우리 시대의 가장 강력한 기술력인 AI는 컴퓨터 그래픽을 포함한 컴퓨터 사이언스의 모든 분야에 혁명을 일으킬 것이며, NVIDIA RTX는 Neural Graphics의 엔진입니다”라고 말했습니다.
여기에서 시그라프 NVIDIA 스페셜 이벤트를 시청할 수 있습니다. 여기에는 실험실, 프레젠테이션 및 다큐멘터리 영화 시사회에 대한 세부 정보가 포함됩니다.