NVIDIA Agent Toolkit에 NVIDIA OmniverseTM 라이브러리가 추가됐습니다. NVIDIA Omniverse 라이브러리는 AI 에이전트에 도구와 기술을 제공해 기존 애플리케이션에 피지컬 AI 기능을 추가하고, 3D 콘텐츠를 시뮬레이션용으로 준비할 수 있도록 지원하는 소프트웨어 구성 요소 모음입니다.
로봇과 공장, 자율 시스템은 실제 환경에서 작동하기 전에 시뮬레이션 환경에서 설계·테스트·학습돼야 하는데요. 3D 콘텐츠를 시뮬레이션용으로 준비하려면 사실적인 시각적 표현만으로는 충분하지 않죠. 에셋에는 적절한 구조와 재질, 크기, 라벨, 센서, 물리적 속성이 필요합니다. NVIDIA Agent Toolkit에 포함된 NVIDIA Omniverse 라이브러리는 AI 에이전트에 워크플로우를 구축하고, 장면을 검사하고, 문제를 표시하고, 에셋을 준비할 수 있는 도구와 스킬을 제공합니다. 이를 통해 개발자는 3D 콘텐츠를 시뮬레이션 준비형 환경으로 보다 빠르게 전환할 수 있습니다.
NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “피지컬 AI 시대는 시뮬레이션 환경에서 먼저 구축될 겁니다. Omniverse 라이브러리를 갖춘 NVIDIA Agent Toolkit은 개발자들이 이미 사용하는 3D 도구에 AI 에이전트를 도입합니다. 이를 통해 로봇, 공장, 자율 시스템이 실제 환경에 배치되기 훨씬 전부터 학습되고 테스트되는 시뮬레이션 준비형 환경을 구축할 수 있도록 지원합니다”라고 말했습니다.
SideFX와 PTC를 비롯한 소프트웨어 기업들은 에이전트 지원형 센서 시뮬레이션과 물리 시뮬레이션, 에셋 검증을 위해 Omniverse 라이브러리를 통합하고 있습니다. 이를 통해 개발자와 테크니컬 아티스트가 3D 콘텐츠를 준비할 때 이미 사용하고 있는 애플리케이션과 워크플로우에 에이전틱 AI를 도입할 수 있도록 지원합니다.
Omniverse 라이브러리, NVIDIA Agent Toolkit에 피지컬 AI 기능 제공
NVIDIA Agent Toolkit은 소프트웨어 기업이 도구와 스킬, 데이터 소스를 연결하는 AI 에이전트를 구축할 수 있도록 지원합니다. Omniverse 라이브러리는 기존 애플리케이션 내에서 센서 시뮬레이션과 GPU 가속 물리 시뮬레이션, 시뮬레이션 준비형 에셋 검증을 위한 호출 가능한 도구를 제공해, 이러한 에이전트의 활용 범위를 3D와 피지컬 AI 워크플로우로 확장하죠.
ovrtx, ovphysx, CAD-to-SimReady 기술을 포함한 새로운 Omniverse 라이브러리는 GitHub에서 만날 수 있습니다. 이를 통해 AI 에이전트는 장면을 분석하고, 변경 사항을 테스트하며, 3D 에셋을 시뮬레이션용으로 준비하는 워크플로우를 구축할 수 있죠. 또한 Blender에 Omniverse 라이브러리를 통합할 수 있는 새로운 Blueprint도 GitHub에서 공개됐습니다.
해당 라이브러리의 주요 기능은 다음과 같습니다.
- NVIDIA RTX 센서 시뮬레이션: ovrtx는 애플리케이션이 3D 장면에서 카메라와 라이다, 레이더 등 다양한 센서의 출력을 생성할 수 있도록 지원합니다. 이를 통해 개발자와 AI 에이전트는 피지컬 AI 시스템이 가상 환경을 어떻게 인식할 수 있는지 테스트할 수 있습니다.
- 물리적 동작: ovphysx는 GPU 가속 물리 시뮬레이션을 활용해 충돌과 질량, 마찰, 움직임 등의 속성을 기반으로 3D 장면에 사실적인 동작을 구현합니다. 이를 통해 팀은 객체와 시스템이 상호작용하는 방식을 시뮬레이션 환경에서 먼저 테스트할 수 있습니다.
- 시뮬레이션 지원 3D 오브젝트: CAD-to-SimReady 기술은 컴퓨터 지원 설계(CAD) 데이터를 OpenUSD 기반의 SimReady 에셋으로 변환합니다. 이를 통해 3D 콘텐츠에 피지컬 AI 시뮬레이션과 가상 테스트에 필요한 속성을 부여할 수 있습니다.
소프트웨어 기업, Omniverse 라이브러리 활용
SideFX와 PTC를 비롯해 스타트업 ForgeCAD, Lightwheel, Moonlake AI, Palatial은 NVIDIA Agent Toolkit에 새롭게 포함된 Omniverse 라이브러리를 가장 먼저 도입하고 이를 기반으로 개발하고 있는 기업들입니다.
SideFX는 OpenUSD 워크플로우와 ovrtx, ovphysx 라이브러리를 활용해 에이전트가 Omniverse 라이브러리를 Houdini의 절차적 3D 콘텐츠 제작 워크플로우에 통합하는 방안을 모색하고 있는데요. 이를 통해 테크니컬 아티스트는 3D 콘텐츠를 생성하고, 테스트하며, 시뮬레이션에 적합한 콘텐츠를 준비할 수 있습니다.
SideFX 대표 겸 CEO Kim Davidson은 “절차적 3D 제작은 시뮬레이션, 로보틱스, 산업용 AI에 필요한 복잡하면서도 제어 가능한 환경을 구축하는 데 필수적이죠. SideFX는 NVIDIA Omniverse 라이브러리와 OpenUSD를 활용해 에이전트 지원형 도구가 Houdini 워크플로우를 지원할 수 있는 방안을 모색하고 있습니다. 이를 통해 테크니컬 아티스트는 창작 과정에 대한 제어권을 유지하면서도 절차적으로 생성된 콘텐츠를 검토하고, 테스트하며, 시뮬레이션용으로 준비할 수 있습니다”라고 말했습니다.
PTC 온쉐이프Onshape CAD 및 제품 데이터 관리(PDM) 플랫폼은 OpenUSD와 ovrtx를 활용해 클라우드 네이티브 설계 워크플로우를 물리 시뮬레이션과 연결하고 있습니다. 이를 통해 제품 설계 콘텐츠가 CAD와 PDM, 협업, 시뮬레이션 워크플로우 전반에 걸쳐 연결된 상태를 유지할 수 있도록 지원합니다.
PTC 사장 겸 CEO Neil Barua는 “엔지니어링 팀은 개발 과정 전반에서 설계, 협업, 시뮬레이션을 더욱 긴밀하게 연결할 수 있는 방식을 찾고 있습니다. PTC와 NVIDIA의 협력은 이러한 광범위한 비전을 지원하며, NVIDIA Omniverse 라이브러리는 제품이 설계되는 환경 가까이에서 검증과 테스트를 수행할 수 있는 시뮬레이션 준비형 워크플로우를 구현하도록 돕습니다”라고 말했습니다.
SIGGRAPH에서 전시되는 ‘SimReady Blender’는 NVIDIA Omniverse 라이브러리와 NVIDIA NemoClawTM를 기반으로 Blender에서 구현한 샘플 워크플로우인데요. 이 워크플로우는 소프트웨어 기업이 크리에이터의 제어권을 유지하면서 NVIDIA RTX 센서 시뮬레이션과 물리 시뮬레이션, 검증 등의 에이전트 지원형 시뮬레이션 기능을 기존 3D 애플리케이션에 추가할 수 있는 방법을 보여줍니다. 해당 워크플로우는 현재 Blender에 Omniverse 라이브러리를 통합하기 위한 Blueprint로 공개돼 있습니다.
이번 데모는 NVIDIA Agent Toolkit의 일부인 Omniverse 라이브러리로 구축된 워크플로우가 로컬에서 실행되는 방식을 선보이며, 지원 환경은 NVIDIA RTX SparkTM가 탑재된 소형 RTX 시스템부터 NVIDIA DGX StationTM 기반의 NVIDIA GB300 시스템까지 다양합니다. RTX Spark 시스템은 올가을 ASUS, Dell Technologies, HP, Lenovo, Microsoft Surface, MSI를 통해 출시되며, 이후 Acer와 GIGABYTE 모델도 출시될 예정입니다. DGX Station 시스템은 ASUS, Dell, GIGABYTE, HP, MSI, Supermicro, Exxact를 통해 구매할 수 있습니다.
NVIDIA Inception 프로그램에 참여하는 기업을 비롯한 스타트업들도 Omniverse 라이브러리와 기술을 활용해 에이전트 기반 에셋과 장면 준비 워크플로우를 구축하고 있는데요. Palatial은 Omniverse CAD-to-SimReady 스킬을 활용해 CAD 입력 데이터로부터 SimReady 에셋을 대규모로 생성하고 검증하는 과정을 자동화하고 있죠. Lightwheel은 자사의 SimReadyGen 기술에 OpenUSD 기반 Omniverse Content Agents를 적용해 텍스트 프롬프트로부터 물리적으로 정확한 SimReady 에셋을 생성하고 있습니다.
ForgeCAD와 Moonlake AI는 Omniverse 기능을 활용해 피지컬 AI 시뮬레이션용 에셋을 생성하고, 보강하고, 준비하는 에이전트 기반 3D 콘텐츠 워크플로우를 모색하고 있습니다.
SIGGRAPH에서 진행된 NVIDIA 키노트를 시청하세요. NVIDIA Omniverse 라이브러리에 대한 자세한 내용을 비롯해 이용 가능한 샘플과 문서를 확인해 보세요.