NVIDIA Research, 엔드투엔드 주행을 위한 CVPR 오토노머스 그랜드 챌린지 우승

자율주행 자동차 개발을 가속화하기 위해 힘쓰고 있는 NVIDIA가 이번 주 미국 시애틀에서 열린 컴퓨터 비전 및 패턴 인식(CVPR) 컨퍼런스에서 오토노머스 그랜드 챌린지 우승자로 선정되었습니다.

지난해 3D 점유 예측 부문에서 우승한 NVIDIA Research는 올해 대규모 엔드투엔드 주행 부문에서 Hydra-MDP 모델로 전 세계 400개 이상의 출품작을 제치고 리더보드 1위를 차지했습니다.

이 성과는 자율주행 자동차(AV) 개발에서 실제 AI 배포를 위한 애플리케이션을 구축하는 데 있어 생성형 AI가 얼마나 중요한지를 보여줍니다. 이 기술은 산업 환경, 의료, 로봇 공학 및 기타 분야에도 적용될 수 있습니다.

수상작은 “학습된 오픈 루프 프록시 메트릭을 사용해 모든 엔드투엔드 주행 모델을 개선하는” NVIDIA의 접근 방식을 인정받아 CVPR의 혁신상도 수상했습니다.

또한, NVIDIA는 모든 종류의 완전 자율 주행 머신 개발을 가속화하기 위해 물리적으로 정확한 센서 시뮬레이션을 가능하게 하는 마이크로 서비스 세트인 NVIDIA Omniverse 클라우드 센서 RTX를 발표했습니다.

엔드투엔드 주행의 작동 방식

자율주행 자동차 개발을 위한 경쟁은 단거리 달리기가 아니라 세 가지 중요한 부분이 동시에 작동하는 끝없는 철인 3종 경기와 같습니다: AI 트레이닝, 시뮬레이션, 자율 주행이 바로 그것입니다. 각 단계에는 자체 가속 컴퓨팅 플랫폼이 필요하며, 이러한 단계를 위해 특별히 설계된 풀스택 시스템이 강력한 삼위일체를 이루어 지속적인 개발 주기를 가능하게 하고 성능과 안전성을 항상 개선합니다.

이를 위해 먼저 NVIDIA DGX와 같은 AI 슈퍼컴퓨터에서 모델을 학습시킵니다. 그런 다음, 차량에 들어가기 전에 NVIDIA Omniverse 플랫폼과 NVIDIA OVX 시스템에서 실행되는 시뮬레이션을 통해 테스트 및 검증하고, 마지막으로 NVIDIA DRIVE AGX 플랫폼이 모델을 통해 센서 데이터를 실시간으로 처리합니다.

복잡한 물리적 세계에서 안전하게 주행할 수 있는 자율 시스템을 구축하는 것은 매우 까다로운 작업입니다. 시스템은 주변 환경을 전체적으로 인식하고 이해한 다음 순식간에 정확하고 안전한 결정을 내려야 합니다. 이를 위해서는 잠재적으로 위험하거나 드문 시나리오를 처리할 수 있는 인간과 같은 상황 인식 능력이 필요합니다.

자율주행 소프트웨어 개발은 전통적으로 물체 감지 및 추적, 궤적 예측, 경로 계획 및 제어를 위한 별도의 구성 요소를 사용하는 모듈식 접근 방식을 기반으로 해왔습니다.

엔드투엔드 자율 주행 시스템은 센서 입력을 받아 차량 궤적을 생성하는 통합 모델을 사용하여 이 프로세스를 간소화함으로써 지나치게 복잡한 파이프라인을 피하고 실제 시나리오를 처리하는 보다 전체적인 데이터 중심 접근 방식을 제공합니다.

엔드투엔드 주행을 위한 CVPR 오토노머스 그랜드 챌린지에서 우승한 Hydra-MDP 모델에 대한 동영상을 시청하세요:

그랜드 챌린지 살펴보기

올해 CVPR 챌린지에서는 참가자들에게 센서 데이터를 기반으로 주행 궤적을 생성하기 위해 nuPlan 데이터 세트를 사용하여 훈련된 엔드투엔드 자율주행 모델을 개발하도록 과제를 부여했습니다.

모델은 오픈 소스 NAVSIM 시뮬레이터 내에서 테스트하기 위해 제출되었으며, 아직 경험하지 못한 수천 가지 시나리오를 탐색하는 과제를 받았습니다. 모델 성능은 안전, 승객의 편안함, 원래 기록된 궤적과의 편차에 대한 지표를 기준으로 점수를 매겼습니다.

NVIDIA Research의 우승한 엔드투엔드 모델은 카메라 및 라이더 데이터와 차량의 궤적 기록을 수집하여 센서 입력 후 5초 동안 안전하고 최적의 차량 경로를 생성합니다.

NVIDIA 연구원들은 이 대회에서 우승하기 위해 사용한 워크플로우를 고충실도 시뮬레이션 환경에서 NVIDIA Omniverse를 통해 재현할 수 있습니다. 즉, AV 시뮬레이션 개발자는 실제 환경에서 AV를 테스트하기 전에 물리적으로 정확한 환경에서 워크플로우를 재현할 수 있습니다. NVIDIA Omniverse 클라우드 센서 RTX 마이크로서비스는 올해 말에 출시될 예정입니다. 얼리 액세스에 등록하세요.

또한, NVIDIA는 언어가 포함된 자율주행을 위한 CVPR 오토노머스 그랜드 챌린지에 제출하여 2위를 차지했습니다. NVIDIA의 접근 방식은 비전 언어 모델과 자율 주행 시스템을 연결하여 거대 언어 모델의 힘을 통합하여 의사 결정을 내리고 일반화 가능하고 설명 가능한 주행 동작을 달성하는 데 도움을 줍니다.