자율주행 자동차 개발을 가속화하기 위해 힘쓰고 있는 NVIDIA가 이번 주 미국 시애틀에서 열린 컴퓨터 비전 및 패턴 인식(CVPR) 컨퍼런스에서 오토노머스 그랜드 챌린지 우승자로 선정되었습니다.
지난해 3D 점유 예측 부문에서 우승한 NVIDIA Research는 올해 대규모 엔드투엔드 주행 부문에서 Hydra-MDP 모델로 전 세계 400개 이상의 출품작을 제치고 리더보드 1위를 차지했습니다.
이 성과는 자율주행 자동차(AV) 개발에서 실제 AI 배포를 위한 애플리케이션을 구축하는 데 있어 생성형 AI가 얼마나 중요한지를 보여줍니다. 이 기술은 산업 환경, 의료, 로봇 공학 및 기타 분야에도 적용될 수 있습니다.
수상작은 “학습된 오픈 루프 프록시 메트릭을 사용해 모든 엔드투엔드 주행 모델을 개선하는” NVIDIA의 접근 방식을 인정받아 CVPR의 혁신상도 수상했습니다.
또한, NVIDIA는 모든 종류의 완전 자율 주행 머신 개발을 가속화하기 위해 물리적으로 정확한 센서 시뮬레이션을 가능하게 하는 마이크로 서비스 세트인 NVIDIA Omniverse 클라우드 센서 RTX를 발표했습니다.
엔드투엔드 주행의 작동 방식
자율주행 자동차 개발을 위한 경쟁은 단거리 달리기가 아니라 세 가지 중요한 부분이 동시에 작동하는 끝없는 철인 3종 경기와 같습니다: AI 트레이닝, 시뮬레이션, 자율 주행이 바로 그것입니다. 각 단계에는 자체 가속 컴퓨팅 플랫폼이 필요하며, 이러한 단계를 위해 특별히 설계된 풀스택 시스템이 강력한 삼위일체를 이루어 지속적인 개발 주기를 가능하게 하고 성능과 안전성을 항상 개선합니다.
이를 위해 먼저 NVIDIA DGX와 같은 AI 슈퍼컴퓨터에서 모델을 학습시킵니다. 그런 다음, 차량에 들어가기 전에 NVIDIA Omniverse 플랫폼과 NVIDIA OVX 시스템에서 실행되는 시뮬레이션을 통해 테스트 및 검증하고, 마지막으로 NVIDIA DRIVE AGX 플랫폼이 모델을 통해 센서 데이터를 실시간으로 처리합니다.
복잡한 물리적 세계에서 안전하게 주행할 수 있는 자율 시스템을 구축하는 것은 매우 까다로운 작업입니다. 시스템은 주변 환경을 전체적으로 인식하고 이해한 다음 순식간에 정확하고 안전한 결정을 내려야 합니다. 이를 위해서는 잠재적으로 위험하거나 드문 시나리오를 처리할 수 있는 인간과 같은 상황 인식 능력이 필요합니다.
자율주행 소프트웨어 개발은 전통적으로 물체 감지 및 추적, 궤적 예측, 경로 계획 및 제어를 위한 별도의 구성 요소를 사용하는 모듈식 접근 방식을 기반으로 해왔습니다.
엔드투엔드 자율 주행 시스템은 센서 입력을 받아 차량 궤적을 생성하는 통합 모델을 사용하여 이 프로세스를 간소화함으로써 지나치게 복잡한 파이프라인을 피하고 실제 시나리오를 처리하는 보다 전체적인 데이터 중심 접근 방식을 제공합니다.
엔드투엔드 주행을 위한 CVPR 오토노머스 그랜드 챌린지에서 우승한 Hydra-MDP 모델에 대한 동영상을 시청하세요:
그랜드 챌린지 살펴보기
올해 CVPR 챌린지에서는 참가자들에게 센서 데이터를 기반으로 주행 궤적을 생성하기 위해 nuPlan 데이터 세트를 사용하여 훈련된 엔드투엔드 자율주행 모델을 개발하도록 과제를 부여했습니다.
모델은 오픈 소스 NAVSIM 시뮬레이터 내에서 테스트하기 위해 제출되었으며, 아직 경험하지 못한 수천 가지 시나리오를 탐색하는 과제를 받았습니다. 모델 성능은 안전, 승객의 편안함, 원래 기록된 궤적과의 편차에 대한 지표를 기준으로 점수를 매겼습니다.
NVIDIA Research의 우승한 엔드투엔드 모델은 카메라 및 라이더 데이터와 차량의 궤적 기록을 수집하여 센서 입력 후 5초 동안 안전하고 최적의 차량 경로를 생성합니다.
NVIDIA 연구원들은 이 대회에서 우승하기 위해 사용한 워크플로우를 고충실도 시뮬레이션 환경에서 NVIDIA Omniverse를 통해 재현할 수 있습니다. 즉, AV 시뮬레이션 개발자는 실제 환경에서 AV를 테스트하기 전에 물리적으로 정확한 환경에서 워크플로우를 재현할 수 있습니다. NVIDIA Omniverse 클라우드 센서 RTX 마이크로서비스는 올해 말에 출시될 예정입니다. 얼리 액세스에 등록하세요.
또한, NVIDIA는 언어가 포함된 자율주행을 위한 CVPR 오토노머스 그랜드 챌린지에 제출하여 2위를 차지했습니다. NVIDIA의 접근 방식은 비전 언어 모델과 자율 주행 시스템을 연결하여 거대 언어 모델의 힘을 통합하여 의사 결정을 내리고 일반화 가능하고 설명 가능한 주행 동작을 달성하는 데 도움을 줍니다.
CVPR에서 자세히 알아보기
올해 CVPR에는 자동차, 의료, 로봇 공학 등을 아우르는 주제에 관한 50개 이상의 NVIDIA 논문이 접수되었습니다. 이 중 12개 이상의 논문에서 다음과 같은 NVIDIA 자동차 관련 연구가 다뤄질 예정입니다:
- Hydra-MDP: End-to-End Multimodal Planning With Multi-Target Hydra-Distillation
- Producing and Leveraging Online Map Uncertainty in Trajectory Prediction
- CVPR best paper award finalist
- Driving Everywhere With Large Language Model Policy Adaptation
- Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?
- Improving Distant 3D Object Detection Using 2D Box Supervision
- Dynamic LiDAR Resimulation Using Compositional Neural Fields
- BEVNeXt: Reviving Dense BEV Frameworks for 3D Object Detection
- PARA-Drive: Parallelized Architecture for Real-Time Autonomous Driving
NVIDIA의 AI 연구 담당 부사장인 Sanja Fidler가 자율주행 CVPR 워크샵에서 비전 언어 모델에 대해 발표합니다.
AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율 주행 자동차, 로봇 공학 등의 주제에 집중하는 수백 명의 과학자 및 엔지니어로 구성된 글로벌 팀인 NVIDIA Research에 대해 자세히 알아보세요.
소프트웨어 제품 정보에 관한 공지를 참조하세요