편집자 노트: 본 게시물은 개발자, 3D 실무자 및 기업이 유니버설 씬 디스크립션(OpenUSD)과 NVIDIA Omniverse의 최신 기술을 사용하여 워크플로우를 혁신하는 방법에 초점을 맞춘 시리즈인 Into the Omniverse의 일부입니다.
시뮬레이션 운전 환경은 엔지니어들이 실제 테스트의 위험과 비용 없이 수많은 실제 및 극한 시나리오에서 자율주행 자동차(AV)를 안전하고 효율적으로 훈련, 테스트, 검증할 수 있도록 해줍니다.
이러한 시뮬레이션 환경은 AV 플릿의 실제 데이터를 신경망으로 재구성하거나, 물리와 실제 세계의 특성을 이해하는 신경망인 월드 파운데이션 모델(WFM)로 생성할 수 있습니다. WFM은 향상된 AV 시뮬레이션을 위한 합성 데이터셋을 생성하는 데 사용될 수 있습니다.
물리 AI 개발자들이 이러한 시뮬레이션 환경을 구축할 수 있도록, NVIDIA는 이달 초 GTC Paris와 CVPR 컨퍼런스에서 WFM의 주요 발전 사항을 공개했습니다. 이 새로운 기능들은 생성형 WFM, 고급 토크나이저, 가드레일, 가속화된 데이터 처리 도구로 구성된 플랫폼인 NVIDIA Cosmos를 강화합니다.
Cosmos Predict-2, Cosmos Transfer-1 NVIDIA 프리뷰 NIM 마이크로서비스, 그리고 Cosmos Reason과 같은 주요 혁신 기술들은 AV 개발자들이 합성 데이터를 생성하고, 현실적인 시뮬레이션 환경을 구축하며, 전례 없는 규모로 안전 시스템을 검증하는 방식을 개선하고 있습니다.
Universal Scene Description(OpenUSD)는 물리 AI 애플리케이션을 위한 통합 데이터 프레임워크이자 표준으로, 개발 파이프라인 전반에 걸쳐 시뮬레이션 에셋의 원활한 통합과 상호운용성을 가능하게 합니다. OpenUSD 표준화는 3D 파이프라인이 확장성 있게 구축되도록 하는 데 중요한 역할을 합니다.
NVIDIA Omniverse는 OpenUSD 기반 물리 AI 애플리케이션을 구축하기 위한 API, 소프트웨어 개발 키트, 서비스로 구성된 플랫폼으로, WFM과 신경망 재구성을 통한 세계 규모의 시뮬레이션을 가능하게 합니다.
Foretellix, Mcity, Oxa, Parallel Domain, Plus AI, Uber 등 주요 자율주행 자동차 기업들이 Cosmos 모델을 가장 먼저 도입한 이들입니다.
확장 가능하고 현실적인 시뮬레이션을 위한 파운데이션
NVIDIA의 최신 WFM인 Cosmos Predict-2는 텍스트, 이미지, 비디오와 같은 다양한 형태의 입력 데이터를 바탕으로 미래의 세계 상태를 예측하여 고품질의 합성 데이터를 생성합니다. 이 기능은 시간적으로 일관되고 현실적인 시나리오를 만들어 자율주행 자동차와 로봇의 훈련 및 검증을 가속화하는 데 매우 중요합니다.
또한, 기존 시나리오에 날씨, 조명, 지형의 변화를 추가하는 제어 모델인 Cosmos Transfer가 곧 대표적인 오픈소스 자율주행 자동차 시뮬레이터인 CARLA에서 15만 명의 개발자에게 제공될 예정입니다. 이는 폭넓은 자율주행 자동차 개발자 커뮤니티가 첨단 AI 기반 시뮬레이션 도구에 접근할 수 있는 범위를 크게 확장시킵니다.
개발자들은 NVIDIA Physical AI Dataset을 활용해 합성 데이터를 자체 파이프라인에 통합할 수 있습니다. 최신 릴리스에는 Cosmos를 사용해 생성된 4만 개의 클립이 포함되어 있습니다.
이러한 파운데이션 위에서, AV 시뮬레이션을 위한 Omniverse Blueprint는 풍부한 디지털 트윈을 구축하고, 실제 센서 데이터를 재생하며, 폐쇄 루프 테스트를 위한 새로운 그라운드 트루스 데이터를 생성할 수 있는 표준화된 API 기반 워크플로우를 제공합니다.
이 Blueprint는 OpenUSD의 레이어 스태킹과 컴포지션 아크 기능을 활용하여 개발자들이 비동기적으로 협업하고, 장면을 비파괴적으로 수정할 수 있게 합니다. 이를 통해 다양한 날씨, 교통 패턴, 극한 상황 등 다양한 시나리오 변형을 효율적으로 생성할 수 있는 모듈형, 재사용 가능한 시나리오를 만들 수 있습니다.
자율주행 자동차 안전의 미래를 이끌다
자율주행 시스템의 운영 안전성을 강화하기 위해, NVIDIA는 올해 초 AV 안전에 중점을 둔 AI 연구와 자사의 전체 자동차 하드웨어 및 소프트웨어 스택을 통합한 종합 안전 플랫폼인 NVIDIA Halos를 선보였습니다.
새로운 Cosmos 모델들(Cosmos Predict-2, Cosmos Transfer-1 NIM, Cosmos Reason)은 Halos 플랫폼에 추가적인 안전 향상 기능을 제공하여, 개발자들이 자율주행 시스템의 훈련 및 검증을 위한 다양하고, 제어 가능하며, 현실적인 시나리오를 생성할 수 있도록 하는데요,
이 모델들은 주행 데이터를 포함한 방대한 멀티모달 데이터셋으로 학습되어, 시뮬레이션의 폭과 깊이를 크게 확장함으로써 드물고 안전에 중요한 사건을 포함한 다양한 시나리오를 견고하게 커버할 수 있게 하며, 특수한 자율주행 자동차 작업을 위한 사후 맞춤화도 지원합니다.
CVPR에서 NVIDIA는 Autonomous Grand Challenge 수상자로 선정되어, 엔드 투 엔드 자율주행차(AV) 워크플로우 발전을 이끄는 리더십을 인정받았습니다. 이 챌린지에서는 OpenUSD의 강력한 메타데이터와 상호운용성을 활용해 반응형 환경에서 센서 입력과 차량 궤적을 시뮬레이션했으며, 안전성과 규정 준수 측면에서 최첨단 성과를 달성했지요.
개발자들이 CARLA, Cosmos, Omniverse와 같은 도구를 활용해 자율주행차 시뮬레이션을 어떻게 발전시키고 있는지에 대해 더 알고 싶다면, 아래 라이브스트림을 다시 시청하세요.
또한 NVIDIA 자율주행 자동차 리서치 디렉터인 Marco Pavone가 NVIDIA AI 팟캐스트를 통해 디지털 트윈과 고정밀 시뮬레이션이 차량 테스트를 어떻게 개선하고, 개발을 가속화하며, 실제 세계의 위험을 줄이고 있는지에 대해 소개합니다.
OpenUSD의 세계에 연결되기
OpenUSD에 대해 더 배울 수 있는 라이브 기회를 찾고 계신가요? 2025년 8월 10일부터 14일까지 열리는 SIGGRAPH 2025에서 진행되는 세션과 랩을 놓치지 마세요.
개발자와 3D 실무자들이 왜 OpenUSD를 사용하는지, 그리고 NVIDIA Deep Learning Institute에서 무료로 제공하는 온라인 교육인 “Learn OpenUSD” 커리큘럼을 통해 3D 워크플로우를 최적화하는 방법에 대 알아보세요.
또한 Alliance for OpenUSD 포럼과 AOUSD 웹사이트도 함께 탐색해보세요.
NVIDIA Omniverse 뉴스레터를 구독하고, 커뮤니티에 참여하며, Instagram, LinkedIn, Medium, 그리고 X에서 NVIDIA Omniverse 채널을 팔로우하고 최신 정보를 받아보세요.