로보틱스 세계의 문을 여는 새로운 NVIDIA Omniverse 라이브러리와 Cosmos WFM

8월 12, 2025 by NVIDIA Korea

새로운 NVIDIA Omniverse 라이브러리와 NVIDIA Cosmos 월드 파운데이션 모델(WFM)을 공개합니다! 글로벌 최대 컴퓨터 그래픽 콘퍼런스인 SIGGRAPH에서 발표된 이 소식은 로보틱스 솔루션의 개발과 배포의 가속화를 이끌 것으로 기대되는데요.

새로운 NVIDIA RTX PRO 서버와 NVIDIA DGX Cloud를 기반으로 구동되는 이 라이브러리와 모델은 개발자가 어디서든 물리적으로 정확한 디지털 트윈을 구축하도록 돕습니다. 또한, 현실 세계를 시뮬레이션 환경에서 캡처하고 재구성하며, 피지컬 AI 모델 훈련을 위한 합성 데이터를 생성하고, 물리적 세계를 이해하는 AI 에이전트를 개발하도록 지원하죠.

NVIDIA Omniverse 및 시뮬레이션 기술 부문 부사장인 레브 레바레디언(Rev Lebaredian)은 “컴퓨터 그래픽과 AI가 융합되면서 로보틱스를 근본적으로 변화시키고 있습니다. AI 추론을 확장 가능하고 물리적으로 정확한 시뮬레이션과 결합함으로써, 저희는 개발자들이 수조 달러 규모 산업의 미래를 바꿀 로봇과 자율주행 자동차(AV)를 구축할 수 있도록 지원하고 있습니다”고 말했습니다.

새로운 NVIDIA Omniverse 라이브러리로 더욱 정밀한 가상 환경 구축

새롭게 발표된 NVIDIA Omniverse 소프트웨어 개발 키트(SDK)와 라이브러리는 산업용 AI와 로보틱스 시뮬레이션 애플리케이션의 구축과 배포를 가능하게 합니다.

  • 새로운 Omniverse SDK는 무조코(MuJoCo, MJCF)와 OpenUSD 간 데이터 상호 운용성을 제공해 25만 명 이상의 MJCF 기반 로봇 학습 개발자들이 여러 플랫폼에서 로봇을 원활하게 시뮬레이션할 수 있도록 지원합니다.
  • 새로운 Omniverse NuRec 라이브러리와 AI 모델은 Omniverse RTX 레이 트레이싱 기반 3D 가우시안 스플래팅(Gaussian Splatting) 기법을 도입했습니다. 이 렌더링 기술은 개발자가 센서 데이터를 활용해 현실 세계를 3D로 캡처하고 재구성하며 시뮬레이션할 수 있게 해주죠.
  • NVIDIA Isaac Sim™ 5.0과 NVIDIA Isaac Lab 2.2 오픈소스 로봇 시뮬레이션, 학습 프레임워크도 최근 깃허브(GitHub)에서 공개됐습니다. Isaac Sim은 NuRec 뉴럴 렌더링과 새로운 OpenUSD 기반 로봇, 센서 도식을 포함하죠. 이 기능들은 로봇 개발자가 시뮬레이션과 실제 환경 간의 간극을 줄이는 데 도움을 줍니다.

Omniverse NuRec 렌더링은 15만 명 이상의 개발자가 사용하는 대표적인 오픈소스 시뮬레이터인 칼라(CARLA)에 통합됩니다. 또한, AV 툴체인 선도 기업인 포어텔릭스(Foretellix)는 NuRec과 NVIDIA Omniverse Sensor RTX™를 통합해 물리적으로 정확한 시나리오를 기반으로 한 확장 가능한 합성 데이터 생성을 강화하고 있죠. 그리고 복셀51(Voxel51)의 시각적, 멀티모달 AI용 데이터 엔진인 피프티원(FiftyOne)도 NuRec을 지원해 재구성에 필요한 데이터 준비 과정을 간소화합니다. 피프티원은 포드(Ford), 포르쉐(Porsche)를 비롯한 여러 고객사에서 사용되고 있습니다.

보스턴 다이내믹스(Boston Dynamics), 피규어 AI(Figure AI), 헥사곤(Hexagon), RAI 연구소(RAI Institute), 라이트휠(Lightwheel), 스킬드 AI(Skild AI) 등도 Omniverse 라이브러리, Isaac Sim, Isaac Lab을 도입해 AI 로보틱스 개발을 가속화하고 있습니다. 또한, 아마존 디바이스 앤 서비스(Amazon Devices & Services)도 이를 새로운 제조 솔루션에 적용하고 있다.

로보틱스 월드 생성을 고도화하는 Cosmos

2백만 회 이상 다운로드된 Cosmos WFM은 개발자가 텍스트, 사진, 영상 프롬프트를 활용해 로봇 훈련에 필요한 다양한 데이터를 대규모로 생성할 수 있도록 지원합니다.

올해 SIGGRAPH에서 발표된 새로운 모델은 합성 데이터 생성 속도, 정확도, 언어 지원, 제어 측면에서 큰 도약을 이뤘습니다.

  • Cosmos Transfer-2는 프롬프트 과정을 간소화하며, 지상 실측(ground-truth) 3D 시뮬레이션 장면이나 깊이, 분할, 엣지, 고해상도 지도 등 공간 제어 입력으로 사실적인 합성 데이터 생성을 가속화합니다.
  • Cosmos Transfer-2 distilled 버전은 기존 70단계 증류 과정을 한 단계로 줄여, 개발자가 NVIDIA RTX PRO 서버에서 매우 빠른 속도로 모델을 실행할 수 있게 합니다.

라이트휠, 문 서지컬(Moon Surgical), 스킬드 AI 등 다양한 기업들이 Cosmos Transfer를 활용해 다양한 환경을 대규모로 시뮬레이션하며 피지컬 AI 훈련을 가속화하고 있습니다.

물리적 세계 이해의 한계를 넘는 Cosmos Reason

오픈AI(OpenAI)의 클립(CLIP) 모델이 등장한 이래로, 비전 언어 모델(vision language model, VLM)은 객체와 패턴 인식 같은 컴퓨터 비전 작업에 혁신을 가져왔습니다. 그러나 다단계 작업을 처리하거나, 모호하거나 새로운 상황에 적절히 대응하는 데에는 한계가 있었는데요.

NVIDIA Cosmos Reason은 피지컬 AI와 로보틱스를 위한 새로운 개방형, , 70억 파라미터 추론 VLM으로, 맞춤화가 가능합니다. 이 모델은 로봇과 비전 AI 에이전트가 사전 지식, 물리 법칙, 상식을 바탕으로 사람처럼 추론하고 현실 세계를 이해하며 행동할 수 있도록 해주죠.

Cosmos Reason은 다음과 같은 로보틱스, 피지컬 AI 애플리케이션에 활용될 수 있습니다.

NVIDIA의 로보틱스 팀과 NVIDIA DRIVE™ 팀은 데이터 큐레이션과 필터링, 주석 처리, VLA 사후 훈련에 Cosmos Reason을 활용하고 있습니다. 우버(Uber)는 Cosmos Reason으로 AV 훈련 데이터에 주석을 달고 캡션을 추가하고 있죠.

마그나(Magna)는 시티 딜리버리 플랫폼의 일환으로 Cosmos Reason과 협력해 개발 중입니다. 이 플랫폼은 완전 자율주행 기반의 저비용 즉각 배송 솔루션을 제공하며, 차량이 새로운 도시 환경에 더 빠르게 적응할 수 있도록 지원하는데요. Cosmos Reason은 차량의 장기적 경로 계획에 월드 이해 기능을 추가하죠. 바스트 데이터(VAST Data), 마일스톤 시스템즈(Milestone Systems), 링커 비전(Linker Vision)은 Cosmos Reason을 도입해 도시와 산업 환경에서 교통 모니터링을 자동화하고, 안전을 개선하며 시각적 검사 효율을 높이고 있습니다.

새로운 NVIDIA AI 인프라, 어디서나 로보틱스 워크로드 지원

개발자가 이러한 첨단 기술과 소프트웨어 라이브러리를 최대한 활용할 수 있도록, NVIDIA는 가장 까다로운 워크로드를 처리할 수 있는 AI 인프라를 새롭게 발표했습니다.

개발자 생태계 가속화

NVIDIA와 함께 로보틱스, 피지컬 AI 개발자들은 3D와 시뮬레이션 기술을 더욱 빠르게 도입하고 있습니다.

  • OpneUSD 커리큘럼과 인증(OpenUSD Curriculum and Certification): USD 전문 인력 수요에 대응하기 위한 교육 과정입니다. OpenUSD 얼라이언스(Alliance for OpenUSD, AOUSD) 회원사인 어도비(Adobe), 아마존 로보틱스(Amazon Robotics), 시놉시스(Synopsys) 산하 앤시스(Ansys), 오토데스크(Autodesk), 픽사(Pixar), PTC, 로크웰 오토메이션(Rockwell Automation), 사이드FX(SideFX), 지멘스(Siemens), TCS, 트림블(Trimble)의 지원을 받아 운영되며, 헥사곤과 같은 업계 리더들도 참여하고 있습니다.
  • 라이트휠과의 오픈 소스 협업: 로봇 행동 전략 훈련과 평가 프레임워크를 NVIDIA Isaac Lab에 통합하기 위한 협업입니다. 이는 병렬 강화 학습 훈련 기능, 벤치마크, 로봇 조작과 이동을 위한 시뮬레이션 지원 애셋을 포함합니다.

SIGGRAPH에서 진행된 NVIDIA Research 스페셜 이벤트를 확인하세요.