자동차를 운전하려면 앞으로 일어날 일을 예측하는 능력이 꼭 필요합니다. 어떤 자동차가 갑자기 차선에 끼어든다 거나 여러 차가 동일한 교차로로 진입할 때마다 운전자는 다른 차량이 어떻게 안전하게 주행할지 예측을 내려야 하는데요.
사람들은 운전자가 보내는 신호나 개인적인 경험을 기준으로 주행 상황을 파악하려는 반면, 자율주행 자동차는 인공지능(AI)를 통해 복잡한 주행환경 속에서 교통양상을 예측하고 안전주행 합니다.
엔비디아는 심층신경망(deep neural network, 이하 DNN)의 일종인 프리딕션넷(PredictionNet)을 훈련시켜 차량 주변의 주행환경을 상공에서 전방위로 파악하고 실시간 지각과 맵 데이터를 기반으로 도로 사용자의 미래 주행노선을 예측합니다.
프리딕션넷은 자동차, 버스, 트럭, 자전거, 보행자 등 도로 위의 모든 행위자의 과거의 움직임을 분석해 미래의 움직임을 예측하죠. 이 DNN은 과거의 정보를 통해 이전의 도로 사용자 위치를 파악하고, 지도가 제공하는 신호등·교통 표지판·차선 표시 등과 같은 교통 현장에서의 고정된 물체와 랜드마크 위치를 습득합니다.
상공에서 하향식 뷰로 래스터화된 이런 정보의 입력을 기반으로 프리딕션넷 DNN은 그림1처럼 도로 사용자의 궤적을 예측합니다.
미래를 예측한다는 것 자체가 불확실성을 안고 있는데요. 프리딕션넷은 그림1처럼 각 도로 사용자에 대해 예측한 미래 궤적에 대한 예측 통계도 제공함으로써 불확실성을 포착하는 것이죠.
하향식 합성곱 순환신경망(RNN) 기반 접근법
자율주행 자동차의 미래 궤적을 예측하기 위한 과거의 접근법은 미래 궤적을 샘플링하는 모방 학습과 생성 모델 뿐 아니라 지각 입력 처리와 미래 궤적 예측을 위해 합성곱 신경망(CNN)과 순환신경망(RNN)을 활용해왔습니다.
프리딕션넷의 경우 2차원 컨볼루션(convolution)을 사용하는 RNN 기반 아키텍처를 사용합니다. 이런 아키텍처는 도로 이용자 수와 예측 지평선 등과 같은 임식적인 입력 규모에 대해 확장성이 매우 높습니다.
일반적으로 모든 RNN의 경우처럼, 다른 시간의 단계가 DNN에 순차적으로 공급되죠. 각 시간의 단계는 실시간 지각 기능을 통해 관찰된 동적인 장애물과 지도상의 고정된 랜드마크 등 해당 시간의 차량 주변을 보여주는 하향식 뷰 이미지로 표현됩니다.
이 하향식 뷰 이미지는 RNN에 전달되기 전에 2D 컨볼루션 세트로 처리됩니다. 프리딕션넷은 현재 시행시에 고속도로나 도시처럼 상황마다 다른 현장의 복잡성에 따라 미래를 1~5초를 확실하게 예측할 수 있습니다.
또한 프리딕션넷 모델은 엔비디아 타이탄 RTX(NVIDIA TITAN RTX) GPU에서 10ms의 엔드투엔드 추론 시간을 내는 엔비디아 딥러닝 추론용 SDK인 텐서RT(TensorRT)에서 구동되면 런타임 효율성이 극대화됩니다.
확장 가능성 결과
현재까지 프리딕션넷이 보여준 결과는 몇몇의 복잡한 교통 상황에서 매우 유망하게 사용될 수 있다는 가능성을 보여줍니다. 가령, 이 프리딕션넷 심층신경망은 교차로에서 직진할 차량과 우회할 차량을 구분해 예측할 수 있습니다. 또한 고속도로가 합류되는 상황에서 차량의 행동양태를 정확히 예측할 수 있습니다.
또한 엔비디아는 프리딕션넷이 현장에서 차량의 속도와 가속도를 학습할 수 있음을 확인했습니다. 이를 통해 고속으로 이동하는 차량과 완전히 정차된 차량의 속도를 정확히 예측할 수 있음을 물론 교통 정체 구간의 양상 예측이 가능합니다.
프리딕션넷은 예측 정확도 향상을 위해 매우 정확도 높은 라이다(lidar) 데이터에서 훈련되는데요. 그렇지만 DNN에 대한 추론시간 지각 입력은 재교육 없이 모든 센서 입력 조합(카메라, 레이더 및 라이더 데이터)을 기반으로 할 수 있습니다. 이는 프리딕션넷의 예측기능을 다양한 센서 구성 뿐 아니라 레벨 2+ 시스템에서 레벨4과 레벨5까지 다양한 자율성 수준에 활용할 수 있음을 뜻하죠.
프리딕션넷의 실시간 행동 예측기능을 활용해 자동 크루즈 컨트롤, 차선 변경, 교차로 처리 등의 기능에 대한 강화 학습기반 계획과 제어 정책을 위해 인터액티브한 훈련 환경을 조성할 수 있습니다.
프리딕션넷을 통해 다른 도로 사용자가 실제 경험을 바탕으로 자율주행 자동차에 어떻게 반응하는지 시뮬레이션함으로써 엔비디아는 더욱 안전하고 강력하며 신뢰할 수 있는 AI 운전자를 만들어낼 수 있습니다.