미국 테네시 내슈빌에서 열린 컴퓨터 비전 및 패턴 인식 분야 국제 학술대회 ‘CVPR(Computer Vision and Pattern Recognition)’에서 오토노머스 그랜드 챌린지(Autonomous Grand Challenge) 우승자로 선정됐습니다! 이번 수상 결과는 ‘차세대 자율 시스템을 위한 구현 인텔리전스(Embodied Intelligence for Autonomous Systems on the Horizon)’ 워크숍에서 발표됐는데요.
이로써 CVPR에서 ‘대규모 엔드-투-엔드 드라이빙(End-to-End Driving at Scale)’ 부문 2년 연속 1위를 차지했으며, 오토노머스 그랜드 챌리지에서 3년 연속 수상의 영예를 안았습니다.
올해 챌린지는 데이터 기반 비반응형 자율주행 자동차(AV) 시뮬레이션 프레임워크인 NAVSIM v2를 활용해 ‘범용화 가능한 구현 시스템(Towards Generalizable Embodied Systems)’을 주제로 진행됐는데요.
이번 챌린지는 실제 인간 주행 데이터에만 의존하지 않고, 예기치 못한 상황에 대응하는 다양한 방법을 탐색하도록 했죠. 연구진들에게 더 똑똑하고 안전한 자율주행 자동차 개발을 가속화할 수 있는 기회를 제공했습니다.
안전하고 적응력 있는 주행 경로 생성
챌린지 참가자들은 준반응형 시뮬레이션 환경에서 다중 센서 데이터를 활용해 주행 경로를 생성하는 과제를 수행했는데요. 이 환경은 주행 주체 차량의 주행 계획이 시작 시점에 고정되지만, 주변 교통 상황은 동적으로 변화하는 것이 특징이죠.
출품작은 실제 또는 가상 시나리오에서 안전성, 편안함, 규정 준수, 범용성 등을 측정하는 확장 예측 운전자 모델 점수(Extended Predictive Driver Model Score)를 기준으로 평가됐습니다. 이를 통해 더욱 견고하고 범용적인 자율주행 기술 연구의 한계를 넓혔죠.
NVIDIA AV Applied Research 팀의 핵심 혁신은 다양한 주행 경로를 생성한 뒤, 점진적으로 최적의 경로를 선별해내는 일반화 경로 점수화(Generalized Trajectory Scoring, GTRS) 기법이었습니다.
GTRS는 다양한 상황을 포괄하는 거시적 경로 집합과 안전이 중요한 상황에 특화된 정밀 경로를 결합해 도입했습니다. 이 경로들은 주변 환경 조건에 따라 조정되는 확산 정책을 통해 생성되죠. 이후 GTRS는 인지 기반 평가 지표로부터 지식을 추출해 학습한 트랜스포머 디코더를 활용해 안전성, 편안함, 교통 규칙 준수에 중점을 두고 주행 경로 후보들을 점진적으로 선별합니다. 이 디코더는 유사한 경로 간의 미세하지만 중요한 차이를 포착함으로써 가장 유망한 경로를 걸러냅니다.
이 시스템은 광범위한 주행 시나리오에서 우수한 범용성을 입증했으며, 까다로운 벤치마크에서 최고 수준의 성과를 달성했는데요. 다양한 주행 조건에서도 견고하고 적응력 있는 경로 선택을 가능합니다.
CVPR에서 NVIDIA 자율주행 연구 성과
이번 CVPR 2025에서 NVIDIA의 논문이 60편 이상 채택됐으며, 자율주행, 헬스케어, 로보틱스 등 다양한 분야를 다뤘는데요.
NVIDIA의 연구진들은 자율주행 분야에서 인지, 계획, 데이터 생성 분야의 혁신을 통해 물리 AI 기술을 발전시키고 있습니다. 특히 올해는 NVIDIA 논문 3편이 최우수 논문상(Best Paper Award) 후보로 지명됐죠. 그 3편은 ‘파운데이션스테레오(FoundationStereo)’, ‘제로-샷 모노큘러 씬 플로우(Zero-Shot Monocular Scene Flow)’, ‘디픽스3D+(Difix3D+)’입니다.
이외에도 NVIDIA는 자율주행 자동차의 안전성과 범용성을 높이는 핵심 기술 분야에서 획기적인 성과를 발표했습니다. 여기에는 스테레오 심도 추정, 단안 카메라 기반 동작 이해, 3D 재구성, 폐쇄 루프 계획, 비전 언어 모델링, 생성형 시뮬레이션 등이 포함되죠.
NVIDIA의 주요 연구 성과를 볼 수 있는 논문 목록은 다음과 같습니다.
- 디퓨전 렌더러: 비디오 확산 모델을 사용한 신경 역방향과 순방향 렌더링(Diffusion Renderer: Neural Inverse and Forward Rendering With Video Diffusion Models)(블로그에서 읽어보세요.)
- 파운데이션스테레오: 제로 샷 스테레오 매칭(FoundationStereo: Zero-Shot Stereo Matching)(최우수 논문상 후보)
- 야생에서의 제로 샷 모노큘러 씬 플로우 추정(Zero-Shot Monocular Scene Flow Estimation in the Wild)(최우수 논문상 후보)
- 디픽스3D+: 단일 단계 확산 모델을 사용한 3D 재구성 개선(Difix3D+: Improving 3D Reconstructions With Single-Step Diffusion Models)(최우수 논문상 후보)
- 3DGUT: 가우시안 스플래팅에서 왜곡된 카메라와 보조 광선 활성화(3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting)
- 토큰화된 교통 모델의 폐쇄 루프 감독 미세 조정(Closed-Loop Supervised Fine-Tuning of Tokenized Traffic Models)
- 제로-샷 4D 라이더 팬옵틱 세분화(Zero-Shot 4D Lidar Panoptic Segmentation)
- NVILA: 효율적인 프론티어 시각 언어 모델(NVILA: Efficient Frontier Visual Language Models)
- RADIO 증폭: 집합적 비전 파운데이션 모델을 위한 개선된 기준선(RADIO Amplified: Improved Baselines for Agglomerative Vision Foundation Models)
- 옴니드라이브: 사실과 반대되는 추론이 가능한 자율주행을 위한 전체론적 시각 언어 데이터 세트(OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving With Counterfactual Reasoning)
CVPR에서 소개된 자율주행 워크숍과 튜토리얼은 다음과 같습니다.
- 데이터 기반 자율주행 시뮬레이션 워크숍(Workshop on Data-Driven Autonomous Driving Simulation), NVIDIA AV 리서치 담당 수석 이사인 Marco Pavone와 NVIDIA AI 리서치 담당 부사장인 Sanja Fidler 참여
- 자율주행 워크숍(Workshop on Autonomous Driving), NVIDIA 수석 연구 매니저인 Laura Leal-Taixe 참여
- 파운데이션 모델을 통한 오픈 월드 3D 장면 이해 워크숍(Workshop on Open-World 3D Scene Understanding with Foundation Models), Laura Leal-Taixe 수석 연구 매니저 참여
- 모든 도메인을 위한 안전한 인공지능 워크숍(Safe Artificial Intelligence for All Domains), NVIDIA AV 응용 연구 담당 이사인 Jose Alvarez 참여
- V2X 기반 협력 자율주행을 위한 파운데이션 모델 워크숍(Workshop on Foundation Models for V2X-Based Cooperative Autonomous Driving), Marco Pavone 수석 이사, Laura Leal-Taixe 수석 연구 매니저 참여
- 생성형 AI 시대의 다중 에이전트 구현 지능형 시스템 워크숍(Workshop on Multi-Agent Embodied Intelligent Systems Meet Generative AI Era), Marco Pavone 수석 이사 참여
- CV 분야 라틴X 연구자 워크숍(LatinX in CV Workshop), Laura Leal-Taixe 수석 연구 매니저 참여
- 차세대 데이터 활용을 위한 탐구 워크숍(Workshop on Exploring the Next Generation of Data), Jose Alvarez 이사 참여
- 딥러닝, 파운데이션 모델을 위한 GPU 기반 풀 스택 가속 워크숍(Full-Stack, GPU-Based Acceleration of Deep Learning and Foundation Models), NVIDIA 진행
- 파운데이션 모델을 통한 연속 데이터 사이클 워크숍(Continuous Data Cycle via Foundation Models), NVIDIA 진행
- 자율주행을 위한 파운데이션 모델 증류 워크숍(Distillation of Foundation Models for Autonomous Driving), NVIDIA 진행
CVPR에서 발표한 NVIDIA 연구 논문을 살펴보고, NVIDIA 젠슨 황 CEO의 GTC Paris 키노트를 시청하세요.
또한 AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율주행 자동차, 로보틱스 등 다양한 분야를 탐구하는 수백 명의 과학자와 엔지니어로 구성된 NVIDIA Research 글로벌 팀에 대해 자세히 알아보세요.
위의 주요 이미지는 자율주행 차량이 GTRS 모델을 사용해 동적인 교통량이 있는 도시 환경을 탐색하기 위해 경로를 조정하는 방법을 보여줍니다.