추론 기반 VLA(vision language action) 모델인 NVIDIA Alpamayo 2 Super를 소개합니다! 320억 개의 파라미터를 갖춘 Alpamayo 2 Super는 오픈 AI 모델, 시뮬레이션 프레임워크, 피지컬 AI 데이터셋으로 구성된 NVIDIA Alpamayo 제품군을 확장한 모델로, 안전한 레벨 4 로보택시 개발을 지원합니다.
더불어 실제 데이터 수집부터 폐쇄형 루프 훈련, 차량 내 배포에 이르는 전체 파이프라인을 완성하는 새로운 도구, 모델, 에이전트 기술도 공개됐습니다. 여기에는 NVIDIA AlpaGym, NVIDIA OmniDreams, 그리고 새로운 NVIDIA Omniverse NuRec이 포함돼 있습니다.
Alpamayo 2 Super는 자율주행의 핵심 인프라를 처음부터 새로 구축해야 하는 부담을 없애 자율주행 자동차(AV) 개발을 가속화합니다. 또한 인간과 유사한 인식, 추론, 행동을 가능하게 하며, 안전성 검증과 규제 당국과의 협업에 필요한 해석 가능성을 제공합니다.
AlpaGym 프레임워크는 실제 도로 주행을 위한 모델 훈련을 더욱 효과적으로 수행할 수 있는 폐쇄형 강화학습(RL)용 플랫폼을 제공합니다. NVIDIA OmniDreams는 사실적인 폐쇄형 자율주행 시나리오 생성을 위한 생성형 월드 모델을 통해 드물게 발생하는 롱테일(long-tail) 주행 시나리오를 대규모로 시뮬레이션할 수 있도록 지원합니다.
개발자의 생산성을 높이기 위해 모든 NVIDIA 자율주행 자동차 개발 도구에는 피지컬 AI 에이전트 기술이 제공됩니다. 예를 들어, NVIDIA Omniverse NuRec 기반의 Neural Reconstruction은 실제 차량 주행 시나리오를 시뮬레이션에 활용해 대규모의 합성 훈련 데이터를 생성합니다.
NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “Alpamayo는 자동차가 단순한 주행을 넘어 안전한 추론을 시작하는 전환점입니다. 전 세계 로보택시 생태계가 예외 상황을 이해하고, 의사결정을 설명하며, 신뢰를 얻고, 수백만 대의 차량으로 안전하게 확장할 수 있는 레벨 4 기능을 개발할 수 있도록 오픈 모델, 시뮬레이션, 실제 데이터, 에이전트 기술을 제공하는 곳은 오직 NVIDIA뿐입니다”라고 말했습니다.
추론 기반 자율주행 자동차를 위한 Alpamayo 2 Super 출시
Alpamayo 2 Super가 추가되면서, NVIDIA Alpamayo 제품군의 파라미터 또한 100억 개에서 320억 개로 확장됐습니다. 이는 단순한 주행 경로 생성을 넘어 전체 주행 스택 전반에서 추론, 계획, 실행 기능을 지원하죠. 추론, 자동 레이블링, 장면 이해, 모델 평가, 소형 모델로의 지식 정제 등 멀티 태스크 역량을 탑재해, 확장 가능한 레벨 4 자율주행 자동차의 개발과 배포를 위한 핵심 기반을 마련합니다.
주요 기능은 다음과 같습니다.
- 3배 확장된 파라미터 규모: NVIDIA Cosmos™ 월드 파운데이션 모델을 기반으로 구축된 Alpamayo 2 Super는 기존 100억 파라미터 규모 모델에서 320억 파라미터로 확장돼, 롱테일 시나리오에서의 추론, 3D 공간 이해, 궤적 예측 성능을 향상시킵니다.
- 전방위 인식: 전방 중심 카메라에서 전방, 측면, 후방을 아우르는 360도 상황 인식으로 확장돼, 모델이 차선 변경, 합류, 교차로 통과를 보다 안전하게 수행할 수 있도록 완전한 맥락을 확보합니다.
- 메타 액션(Meta-Actions): 양보, 차선 변경, 정지 등 거시적 액션을 포함한 메타 액션 출력이 추가돼, 궤적과 인과 관계(chain-of-causation, CoC) 추적 정보 외에도 후속 계획에 필요한 고수준 주행 의사결정을 예측할 수 있습니다.
- 추론 자동 레이블링과 2D 그라운딩: 320억 파라미터 규모의 파운데이션 모델로 2D 그라운딩 기반 추론 자동 레이블링을 도입해 고품질의 추론 레이블을 생성하며, 데이터 레이블링 주기를 수개월에서 수일로 단축해 자율주행차 데이터 파이프라인의 비용 효율을 크게 개선합니다.
- CoC와 궤적 품질 향상: 기존의 모방학습(imitation-learning) 기반 자율주행 스택이 처리에 어려움을 겪는 희귀하고 복잡한 롱테일 시나리오에서 CoC 추적 정보와 궤적의 품질을 개선했습니다.
이러한 발전으로 Alpamayo 2 Super는 현재까지 NVIDIA가 개발한 가장 강력한 자율주행 파운데이션 모델이 됐습니다. 교사 모델(teacher model)로 설계된 Alpamayo 2 Super는 차량 내부에 탑재된 NVIDIA DRIVE Hyperion™ 플랫폼의 가속 컴퓨팅 환경에서 실행되는 NVIDIA DRIVE AGX Thor와 같은 소형 모델로 압축될 수 있습니다.
NVIDIA Alpamayo 1 Nano와 NVIDIA Alpamayo 1.5 Nano 등의 100억 파라미터 모델에서 Alpamayo 2 Super의 320억 파라미터 모델로 확장됨에 따라, Alpamayo 기반의 모든 자율주행 자동차 스택은 각 제조사가 완전히 처음부터 새로 구축할 필요 없이 단일 오픈 릴리스만으로도 고품질의 추론과 인식 성능을 적용할 수 있습니다.
Alpamayo는 최근 COMPUTEX Best Choice Awards(BCA)의 Vehicle Technology and Smart Cockpit Award를 수상했는데요.
출시 이후 Alpamayo는 다운로드 수 약 40만 회를 달성했습니다. Alpamayo 오픈 플랫폼에는 연구자와 개발자가 자신의 데이터셋, 시나리오, 주행 정책에 맞춰 모델을 조정하도록 지원하는 사후 훈련(post-training) 스크립트도 있습니다.
Alpamayo 2 Super는 올여름 깃허브(GitHub)에서 추론 코드 형태로, 허깅 페이스(Hugging Face)에서 모델 가중치 형태로 제공될 예정입니다.
AlpaGym 기반 폐쇄 루프 훈련과 배포 주기 구현
오픈소스 기반의 고처리량 폐쇄 루프 강화학습 프레임워크인 NVIDIA AlpaGym도 공개됐습니다.
오픈 루프 훈련이 기록된 데이터를 기준으로 모델을 평가하고 단일 행동 세트를 생성했다면, AlpaGym은 NVIDIA AlpaSim 내에서 모델의 지속적인 의사 결정과 관찰 사이클을 지원합니다. 이 과정에서 제동, 조향, 경로 탐색 등의 모든 선택이 환경에 영향을 미치는데요.
그 결과, AlpaGym은 정적인 데이터셋으로는 포착하기 어려운 누적 오류와 극한 상황에서의 실패 사례를 식별해 모델이 경험을 통해 학습할 수 있도록 돕습니다.
AlpaGym은 AlpaSim 마이크로서비스 시뮬레이션 스택과 NVIDIA Omniverse NuRec을 기반으로 구축됐으며, 효율적이고 확장 가능한 폐쇄 루프 강화학습을 통해 주행 성능의 한계를 돌파합니다. Alpamayo는 Physical AI AV Dataset과 결합돼 오픈형 사전 훈련부터 폐쇄형 루프 보정에 이르는 연속적인 개발 경로를 제공합니다.
또한 NVIDIA CoC 오토 레이블링(Auto-Labeling) 파이프라인은 깃허브에 오픈소스로 공개돼 있는데요. 이 파이프라인은 인력을 통한 별도의 주석 작업 없이 원본 주행 영상으로부터 의사결정에 기반한 인과 관계가 담긴 CoC 레이블을 자동 생성합니다. 또한, 체화된 추론 모델의 대규모 훈련에 필요한 인과 훈련 데이터의 기반을 제공합니다.
NVIDIA 기반 자율주행 자동차용 피지컬 AI 에이전트 신기술
추론 기반 자율주행 자동차 개발을 지원하기 위해 NVIDIA 에이전트 툴킷 기반의 새로운 피지컬 AI 에이전트 기술이 출시됩니다. 개발자와 코딩 에이전트는 대규모 자율주행 시스템의 구축과 검증에 필요한 시뮬레이션, 데이터 생성, 폐쇄 루프 훈련 워크플로우를 경험할 수 있습니다.
여기에는 NVIDIA Omniverse NuRec 라이브러리 기반의 Neural Reconstruction, 사실적인 시나리오 생성을 위한 NVIDIA OmniDreams, 폐쇄 루프 강화학습을 위한 AlpaGym의 기술들이 포함됩니다.
NVIDIA GTC Taipei에서 젠슨 황 CEO의 키노트를 시청하고 자세한 내용을 알아보세요.