편집자 노트: 본 게시물은 개발자와 3D 실무자, 기업이 OpenUSD와 NVIDIA Omniverse의 최신 기술로 워크플로우를 어떻게 혁신할 수 있는지 다루는 Into the Omniverse 시리즈의 일부입니다.
지난 7월 NVIDIA는 200개가 넘는 기업·기관과 함께 「Open Weights and American AI Leadership」에 서명했습니다. AI 리더십은 특정 프런티어 모델 하나가 아니라 개방형 생태계가 모든 산업 분야에 닿는지 여부로 평가받게 될 것이라는 내용의 공개 서한입니다.
누구나 다운로드하고, 들여다보고, 수정하고, 자체 인프라에서 실행할 수 있는 오픈 모델이 바로 이를 가능하게 하는데요, 모든 배포가 곧 특화의 문제인 피지컬 AI에서 이보다 중요한 것은 없습니다.
피지컬 AI는 겉으로 보이는 모습만이 아니라 그 행동이 불러올 결과까지 이해하고 예측해야 합니다.
이를 가능하게 하기 위해 월드 모델은 물리적 환경이 어떻게 동작하는지, 다음에 무슨 일이 일어날 수 있는지, 이어질 어떤 행동이 타당한지를 학습합니다. 월드 모델은 물리적으로 근거 있는 세계·행동 데이터를 생성하고, 미래 상태를 시뮬레이션하며, 각 팀이 로봇이나 자율주행차, 비전 AI 시스템에 맞게 특화할 수 있는 기반을 제공합니다.
개방형 월드 모델은 이미 학습 데이터를 생성하고, 정책을 테스트하며, 피지컬 AI 시스템을 특화하는 데 쓰이고 있습니다. NVIDIA Cosmos 3는 이러한 역량을 하나의 개방형 모델 제품군으로 묶어냈으며, 선도적인 벤치마크 성과와 함께 로보틱스와 자율주행차, 비전 AI 전반에서 채택되고 있습니다.
또한 NVIDIA Agent 툴킷의 일부인 NVIDIA Omniverse 라이브러리는 시뮬레이션 준비가 된 세계를 구축하기 위한 사전 제작 기능을 제공합니다. 피지컬 AI 팀은 이를 활용해 실제 배포에 앞서 시스템을 학습시키고 테스트하고 검증할 수 있습니다.
월드 모델은 피지컬 AI의 토대입니다
피지컬 AI의 바탕이 되는 데이터는 필요한 규모로 수집하기가 어렵고 비용도 많이 듭니다. 드문 사건과 롱테일 시나리오는 특히 안전하고 반복적으로 재현하기가 어렵습니다.
월드 모델은 다음을 가능하게 합니다.
- 대규모 멀티모달 시나리오에서 물리적 관계를 학습해 더 유용한 데이터를 확보합니다.
- 날씨와 조명, 사물, 궤적이 다양하게 달라지는 더 폭넓은 환경을 만들어냅니다.
- 특정 로봇이나 차량, 센서 구성, 작업, 운영 환경에 맞게 구축하고 적응시킬 수 있는 더 나은 기반을 제공합니다.
범용 모델은 특정 팀의 로봇이나 센서, 운영 환경을 본 적이 없습니다. 이 간극을 좁히려면 모델 가중치에 대한 접근과 적응을 허용하는 라이선스, 그리고 포스트 트레이닝에 필요한 도구가 있어야 합니다.
NVIDIA Cosmos 월드 파운데이션 모델은 Linux Foundation의 OpenMDW 1.1 라이선스로 제공되며, 각 팀은 자체 데이터와 하드웨어에서 모델을 포스트 트레이닝할 수 있습니다. 특화야말로 개방성이 실질적인 기술 요건이 되는 지점입니다.
모델을 특화하는 것은 워크플로우의 일부일 뿐입니다. 각 팀에는 데이터를 생성하고 시뮬레이션을 실행하며 동작을 테스트할 환경도 필요합니다.
Omniverse 라이브러리는 개발자가 시뮬레이션 준비가 된 환경을 구축하도록 돕고, OpenUSD는 디지털 트윈과 시뮬레이션, 합성 데이터 생성 워크플로우 전반에서 복잡한 3D 데이터를 구성하고 재사용하고 교환하기 위한 개방형 프레임워크를 제공합니다. Omniverse와 OpenUSD를 함께 사용하면 에셋과 센서 구성, 환경 조건이 바뀔 때마다 쌓이기 쉬운 중복 작업을 줄일 수 있습니다.
Cosmos 3: 프런티어 모델
NVIDIA Cosmos 3는 믹스처 오브 트랜스포머(mixture-of-transformers) 아키텍처를 기반으로 구축된 프런티어 개방형 피지컬 AI 파운데이션 옴니 모델입니다. 비전 추론과 월드 생성, 행동 예측을 결합해 개발자가 하나의 모델 제품군으로 장면을 이해하고, 합성 데이터를 생성하며, 미래 상태를 시뮬레이션하고, 특화된 월드 액션 모델을 구축할 수 있게 하죠.
개발자는 각 역량마다 별도의 모델을 구성하고 유지할 필요 없이, Cosmos 3를 비전 언어 모델로, 미래의 월드 상태를 예측하고 대규모 합성 데이터를 생성하는 물리 기반 월드 시뮬레이터로, 또는 월드 액션 모델의 백본으로 활용할 수 있습니다.
이 제품군에는 고정밀 월드 모델링을 위한 Cosmos 3 Super(64B), 효율적인 추론과 포스트 트레이닝을 위한 Cosmos 3 Nano(16B), 온디바이스 비전 추론과 로봇 정책 배포를 위한 Cosmos 3 Edge(4B)가 포함됩니다. Cosmos 3 Edge는 엣지 GPU에서 실행할 만큼 가벼워 NVIDIA RTX GPU와 NVIDIA DGX 시스템, Jetson Thor 플랫폼을 포함한 NVIDIA Jetson 전반에 배포할 수 있습니다.
벤치마크 평가 전반에서 Cosmos 3는 개방형 가중치 텍스트-투-이미지 및 이미지-투-비디오 생성 부문 Artificial Analysis, 월드 생성 부문 PAI-Bench, 그리고 Physics-IQ의 이미지-투-비디오 부문에서 1위를 기록했습니다. 로봇 정책 부문에서는 RoboLab 1위입니다. Cosmos 3 Super는 비전 이해 부문 VANTAGE-Bench에서도 오픈 모델 가운데 최고 순위를 차지했습니다.
Cosmos 외에도 NVIDIA의 피지컬 AI 스택에는 로보틱스를 위한 Isaac GR00T, 자율주행차를 위한 Alpamayo, 비전 AI를 위한 Metropolis가 포함됩니다.
개발자들은 Cosmos 3를 어떻게 활용하고 있을까
여러 산업에서 개발자들이 피지컬 AI 애플리케이션을 위해 NVIDIA Cosmos를 기반으로 개발하고 있습니다. 로보틱스 분야에서는 두산 로보틱스와 LG전자, 삼성전자, Skild AI가 참여하고 있고, 자율주행 자동차 분야에서는 Li Auto와 Xiaomi, Afari가 함께하고 있습니다. 또한 Centific과 Fogsphere, Linker Vision, Milestone Systems, Yuan은 산업용 AI와 스마트 스페이스 애플리케이션을 구동하는 비전 AI 에이전트에 활용하고 있습니다.
NVIDIA Cosmos Coalition은 월드 모델 개발사와 AI 개발자, 피지컬 AI 리더들을 한데 모아 모델과 연구, 평가 방법론을 함께 기여하도록 하며 이러한 흐름을 확장하고 있습니다. NVIDIA는 최근 이 연합을 일본으로 확대했으며, 일본의 로보틱스·제조 선도 기업들이 합류해 공장과 물류, 농업, 건설, 헬스케어, 운송을 위한 개방형 월드 모델을 개발할 예정입니다.
이러한 구현 사례와 협력은 개방형 월드 모델을 로봇과 자율주행차, 비전 AI 시스템 전반에 걸친 피지컬 AI의 적응 가능한 토대로 자리매김하고 있습니다.
함께하기
월드 모델과 OpenUSD, 피지컬 AI 개발에 대해 더 알아보려면 아래 자료를 살펴보세요.
- 살펴보기: Hugging Face와 GitHub에서 개방형 Cosmos 3 모델 컬렉션과 데이터세트를 확인하세요.
- 읽기: 전체 아키텍처 세부 정보와 평가 결과가 담긴 Cosmos 3 기술 리포트를 읽어보세요.
- 읽기: Cosmos 3 기술 블로그를 읽어보세요.
- 시청하기: Cosmos Labs 라이브스트림에 참여하세요.
- 알아보기: NVIDIA Cosmos Coalition에 대해 알아보세요.