피지컬 AI 시스템이 현실 세계를 이해하고 시뮬레이션하도록 돕는 월드 모델을 개발자가 빠르게 만들 수 있도록, NVIDIA가 새로운 학습 도구와 시뮬레이션 체크포인트, Cosmos Data Factory 블루프린트로 Cosmos 플랫폼을 확장했습니다.
오픈 모델 리더보드 여섯 곳에서 상위 5위 안에 든 NVIDIA Cosmos 플랫폼은 월드 모델을 만드는 이들에게 프런티어급 오픈 모델은 물론 데이터와 학습·최적화 도구, 레시피까지 제공합니다. 학습 데이터를 늘리고 모델을 적응시키며 동작을 시험하고, 배포 전에 성능을 최적화할 수 있죠.
더 나은 학습 데이터 만들기
월드 모델 구축은 멀티모달·멀티센서 데이터에서 출발합니다.
NVIDIA Cosmos Data Factory는 피지컬 AI 학습용 데이터를 대규모로 라벨링하고 선별하고 증강하고 평가하는 도구와 스킬을 한데 모았습니다. GPU로 가속되는 영상 학습 데이터셋 선별 솔루션 Cosmos Curator는 이제 멀티모달·멀티센서 입력과 처리 블록도 지원하죠.
Cosmos Data Factory는 아래 다섯 가지 클라우드 네이티브 블루프린트를 제공하며, GitHub와 Microsoft Azure, Nebius, CoreWeave에서 이용할 수 있습니다.
- 자율주행차 데이터셋 생성: 주행 데이터를 선별·라벨링한 뒤, 현실에서 담기 어려운 상황의 합성 사례를 더해 학습 범위를 넓힙니다.
- 이미지 속성 증강: 객체의 외형을 다양하게 바꿔 이미지 검색 성능을 높입니다.
- 이벤트 영상 생성: 정지 이미지를 드물거나 위험한 상황의 합성 영상으로 바꿔 줍니다.
- 결함 이미지 생성: 검사 모델 학습을 위해 인쇄회로기판과 금속, 유리의 결함 이미지를 만들어 냅니다.
- 영상 데이터 증강: 장면 구조는 그대로 둔 채 기존 영상의 날씨와 조명을 바꿉니다.
Cosmos Data Factory는 에이전틱 스킬로 데이터 선별과 처리, 합성 데이터 생성을 가속합니다.
이미 여러 기업이 Cosmos Data Factory 블루프린트를 활용해 피지컬 AI 개발 워크플로우를 앞당기고 있습니다.
Porsche는 Microsoft Azure의 Voxel51을 통해 Cosmos Data Factory를 쓰며, Volkswagen Group 브랜드 전반을 아우르는 공용 자율주행 데이터 플라이휠 개발을 이끌고 있습니다. 이를 통해 반복적인 실차 주행 시험을 최대 90% 줄이고 개발 주기를 최대 85% 단축할 것으로 기대하고 있죠.
Cosmos Data Factory로 구동되는 Voxel51에서 자율주행 영상 데이터를 검색하고 증강하는 Porsche.
ANYbotics는 Cosmos Data Factory 블루프린트로 1,500개가 넘는 합성 영상 클립을 만들고, Encord의 플랫폼으로 실제 데이터를 선별하고 결과물을 검증했습니다. 산업용 검사 로봇이 액체 누출을 비롯해 시설을 다시 찾았을 때 달라진 점을 알아보도록 학습시키기 위해서죠.
NVIDIA Cosmos Data Factory로 구동되는 Encord에서 이상 상황 클립을 생성하는 ANYbotics.
컴퓨터 비전 기업 Ultralytics는 실제 이미지에 Cosmos Data Factory로 특정 결함을 겨냥해 만든 합성 이미지를 더해 YOLO 모델을 다시 학습시켜, 결함 위치 추정과 재현율을 끌어올렸습니다.
모델을 학습하고 적응시키고 최적화하기
학습 데이터가 준비되면 개발자는 자체 아키텍처를 학습시키거나 사전 학습된 모델에서 출발할 수 있습니다.
NVIDIA는 GTC 베를린에서 Cosmos Framework의 학습·최적화·배포 도구와 레시피를 에이전트 스킬 형태로 더 많은 오픈 모델에 확장했고, Cosmos 3도 함께 선보였습니다. 월드 모델을 만드는 이들이 실험에서 배포까지 더 빨리 갈 수 있게 해 주죠.
이제 개발자와 에이전트는 GR00T와 Alpamayo, QWEN, Pi0.5를 비롯한 호환 Hugging Face 모델 같은 오픈 모델을 파인튜닝과 강화 학습으로 적응시키고, 증류와 양자화로 최적화한 뒤, 고성능 추론으로 배포할 수 있습니다.
Cosmos Framework는 월드 모델 개발을 앞당기는 모델 학습·최적화 도구와 스킬을 담은 개방형 모듈식 프레임워크입니다.
로보틱스 연구소 MicroAGI는 1인칭 시점 조작에 특화된 월드 모델을 만들기 위해, 사람이 물체를 다루는 영상으로 Cosmos 3를 포스트트레이닝하고 320억 파라미터 리즈너를 정확도 손실 없이 80억 파라미터 Nano 모델로 증류했습니다.
개발자는 Roboflow에서 각자의 환경과 작업에 맞춰 데이터를 라벨링하고 Cosmos 3를 포스트트레이닝한 뒤, 그 모델을 Roboflow 호스팅 환경이나 온프레미스 NVIDIA GPU에 배포해 영상 리즈닝을 공장과 창고로 가져올 수 있습니다.
정책을 시험하고 모델을 더 빠르게 돌리기
NVIDIA는 이들 도구와 함께 Cosmos 모델 연구를 통해 기반 기술도 계속 발전시키고 있습니다.
시뮬레이션을 위한 새로운 Cosmos 3 Nano 모델 변형을 쓰면 반복 가능하고 현실에서 담기 어려운 멀티뷰·멀티센서 상황에서 자율 정책을 시험할 수 있습니다. 함께 제공되는 코드로 모델을 조정하면, 실제 주행 시험에 앞서 인터랙티브 시뮬레이션에서 자율주행차와 양팔 로봇을 위한 자체 정책을 학습시키고 평가할 수 있죠.
폐루프 시뮬레이션에서 정책을 평가하기 위한 멀티뷰·멀티센서 영상 데이터 생성.
개발자는 업데이트된 NVIDIA Cosmos 3 NIM 마이크로서비스로 핵심 Cosmos 모델을 배포할 수 있습니다. 검증된 구성에서 품질 손실 없이 추론 속도를 최대 2배 높여 주고, 연속 영상 분석으로 1초 미만의 알림도 낼 수 있죠.
비전 AI 개발자를 위한 새로운 NVIDIA Metropolis 영상 검색·요약(VSS) 3.3 블루프린트는 Cosmos NIM 마이크로서비스 위에 구축됐습니다. 프롬프트 하나를 효율적인 영상 AI 애플리케이션으로 바꿔 주며, 같은 GPU로 40% 더 많은 영상 스트림을 감시하도록 돕죠.
ADNOC은 Cosmos와 NVIDIA Metropolis VSS 블루프린트로 만든 Fogsphere의 에이전틱 플랫폼 MistIQ를 활용해 65개 현장에서 안전 위험을 실시간으로 감지합니다. 드물게 일어나는 사건에 대해서는 Fogsphere가 Cosmos Data Factory로 합성 학습 데이터를 만들어, 위험한 상황을 실제로 연출하지 않고도 탐지 성능을 끌어올리고 있죠.
Cosmos 플랫폼은 완전히 모듈식이고 개방돼 있습니다. 개발자는 Cosmos Data Factory로 학습 데이터셋을 만들고, Cosmos Framework로 월드 모델을 학습·적응시킨 뒤, 지원되는 Cosmos 모델을 NIM 마이크로서비스로 배포할 수 있습니다.