편집자 주: 이 게시물은 개발자, 3D 실무자 및 기업이 유니버설 씬 디스크립션(OpenUSD)과 NVIDIA Omniverse의 최신 기술을 사용하여 워크플로우를 혁신하는 방법에 초점을 맞춘 시리즈인 Into the Omniverse의 일부입니다.
AI의 미래는 물리 AI입니다. 물리 AI 모델은 명령을 이해하고 실제 세계에서 복잡한 작업을 인식, 상호 작용 및 수행하여 로봇 및 자율 주행 차량과 같은 자율 머신을 구동할 수 있습니다.
거대 언어 모델이 텍스트를 처리하고 생성하는 것과 마찬가지로, 물리 AI 모델은 세상을 이해하고 동작을 생성할 수 있습니다. 이를 위해서는 중력, 마찰, 관성과 같은 물리적 역학을 이해하고 기하학적, 공간적 관계와 원인과 결과의 원리를 이해할 수 있도록 시뮬레이션 환경에서 모델을 훈련시켜야 합니다.
소프트웨어 개발 및 전문 서비스 분야의 글로벌 리더들은 OpenUSD 기반의 NVIDIA Omniverse를 사용하여 AI 및 제어 가능한 시뮬레이션 개발을 가속화하는 새로운 제품과 서비스를 구축하고 있으며, 디지털 트윈으로 알려진 실제와 같은 가상 세계를 생성하여 전례 없는 정확도와 디테일로 물리 AI를 훈련하고 있습니다.
Omniverse 및 NVIDIA Cosmos로 엄청난 양의 합성 데이터 생성
NVIDIA는 CES에서 로봇, 자율주행차, 비전 AI 등 물리 AI 애플리케이션으로 Omniverse 통합을 더욱 확장하는 생성형 AI 모델과 Blueprint를 발표했습니다.
이 발표 중에는 최첨단 생성형 월드 파운데이션 모델, 고급 토큰라이저, 가드레일 및 가속화된 비디오 처리 파이프라인으로 구성된 플랫폼인 NVIDIA Cosmos가 포함되어 있으며, 모두 물리 AI 개발 가속화를 위해 설계되었습니다.
물리 AI 모델 개발은 방대한 양의 실제 데이터와 테스트가 필요한 비용과 리소스, 시간 집약적인 프로세스입니다. 멀티모달 입력을 기반으로 미래의 세계 상태를 비디오로 예측하는 Cosmos의 월드 파운데이션 모델(WFM)은 개발자가 로봇, 자율 주행 차량 및 기계용 AI를 훈련하고 평가하기 위해 대량의 실제 물리 기반 합성 데이터를 쉽게 생성할 수 있는 방법을 제공합니다. 또한 개발자는 Cosmos WFM을 fine-tuning하여 다운스트림 월드 모델을 구축하거나 특정 물리 AI 사용 사례를 위한 품질과 효율성을 개선할 수 있습니다．
Cosmos는 Omniverse와 함께 사용하면 강력한 합성 데이터 증식 엔진을 생성합니다. 개발자는 Omniverse를 사용하여 3D 시나리오를 생성한 다음, 그 결과물을 Cosmos에 공급하여 제어된 비디오와 변형을 생성할 수 있습니다. 이를 통해 다양한 환경과 상호작용을 포괄하는 기하급수적으로 많은 훈련 데이터를 빠르게 생성함으로써 자율주행차나 로봇과 같은 물리 AI 시스템의 개발을 획기적으로 가속화할 수 있습니다.
OpenUSD는 이러한 시나리오의 데이터를 원활하게 통합하고 일관되게 표현하여 시뮬레이션의 현실감과 효율성을 향상시킵니다.
차량 공유 업체인 Uber와 함께 1X, Agile Robots, Agility Robotics, Figure AI, Foretellix, Fourier, Galbot, Hillbot, IntBot, Neura Robotics, Skild AI, Virtual Incision, Waabi, XPENG 등 선도적인 로봇 공학 및 자동차 회사들은 Cosmos를 최초로 도입했습니다.
NVIDIA의 연구 담당 부사장인 Ming-Yu Liu와 함께하는 NVIDIA AI 팟캐스트 에피소드에서 월드 파운데이션 모델이 물리 AI를 어떻게 발전시킬 수 있는지 자세히 알아보세요.
물리 AI 사용 사례에 대한 실제 Cosmos 활용 사례 알아보기
Cosmos WFM은 다양한 애플리케이션에서 대규모 AI 모델을 개발, 훈련 및 배포할 수 있는 통합 프레임워크를 제공함으로써 산업에 혁신을 일으키고 있습니다. 자동차, 산업 및 로봇 분야의 기업은 생성형 AI와 시뮬레이션의 강력한 기능을 활용하여 혁신과 운영 효율성을 가속화할 수 있습니다.
- 휴머노이드 로봇: 합성 모션 생성을 위한 NVIDIA Isaac GR00T Blueprint는 개발자가 모방 학습을 사용하여 휴머노이드 로봇을 훈련하기 위한 대규모 합성 모션 데이터 세트를 생성하는 데 도움이 됩니다. GR00T 워크플로우를 통해 사용자는 사람의 동작을 캡처하고 Cosmos를 사용하여 데이터 세트의 크기와 다양성을 기하급수적으로 늘려 물리 AI 시스템을 더욱 강력하게 훈련할 수 있습니다.
- 자율주행 차량: 자율주행차 개발자는 Omniverse Sensor RTX 애플리케이션 프로그래밍 인터페이스로 구동되는 자율주행차(AV) 시뮬레이션을 통해 주행 데이터를 재생하고, 새로운 실측 데이터를 생성하고, 폐쇄 루프 테스트를 수행하여 파이프라인을 가속화할 수 있습니다. 개발자는 Cosmos를 통해 합성 주행 시나리오를 생성하여 훈련 데이터를 수 배로 증폭함으로써 자율주행 차량용 물리 AI 모델 개발을 가속화할 수 있습니다. 글로벌 차량 공유 업체인 Uber는 자율 모빌리티를 가속화하기 위해 NVIDIA와 협력하고 있습니다. Uber의 풍부한 주행 데이터 세트와 Cosmos 및 NVIDIA DGX Cloud를 결합하면 자율주행차 파트너가 더욱 강력한 AI 모델을 보다 효율적으로 구축할 수 있습니다.
- 산업 환경: Mega는 공장 및 창고에 배포하기 전에 USD 기반 디지털 트윈에서 대규모로 물리 AI 및 로봇 플릿을 개발, 테스트 및 최적화하기 위한 Omniverse Blueprint입니다. 이 Blueprint는 Omniverse 클라우드 센서 RTX API를 사용하여 모든 유형의 지능형 머신에서 멀티센서 데이터를 동시에 렌더링하여 대규모의 고충실도 센서 시뮬레이션을 가능하게 합니다. Cosmos는 합성 엣지 케이스 시나리오를 생성하여 훈련 데이터를 증폭하여 시뮬레이션에서 로봇 훈련의 견고성과 효율성을 크게 개선함으로써 Mega를 향상시킬 수 있습니다. 공급망 솔루션 회사인 KION Group은 소매, 소비재, 택배 서비스 등의 창고 자동화를 추진하기 위해 Mega를 최초로 도입한 회사입니다.
OpenUSD의 세계로 연결되기
Cosmos에 대해 자세히 알아보려면 NVIDIA CEO 젠슨 황의 CES 키노트 다시보기를 시청하고, 지금 Hugging Face와 NVIDIA NGC 카탈로그에서 오픈 모델 라이선스로 제공되는 Cosmos WFM을 시작하세요. 2월 5일 수요일에 예정된 라이브 스트림에 참여하여 Cosmos WFM과 물리 AI 워크플로우에 대해 자세히 알아보세요.
3D 개발자 및 실무자를 위한 새로운 자기 주도형 학습 OpenUSD 커리큘럼을 통해 OpenUSD 워크플로우를 지속적으로 최적화하고, NVIDIA DLI(딥 러닝 인스티튜트)를 통해 무료로 이용할 수 있습니다. OpenUSD에 대한 더 많은 리소스는 Alliance for OpenUSD 포럼과 AOUSD 웹사이트를 참조하세요.
3월 17일부터 21일까지 산호세 컨벤션 센터에서 열리는 AI 시대를 위한 컨퍼런스인 NVIDIA GTC에서 Cosmos, OpenUSD 및 물리 AI 전문가들을 만나보세요.
NVIDIA 뉴스를 구독하고, 커뮤니티에 가입하고, Instagram, LinkedIn, Medium 및 X에서 NVIDIA Omniverse를 팔로우하여 최신 소식을 받아보세요.