미션: 다양성과 반복을 통해 건물 경로 인지 신뢰도를 구축
방법: 경로 인지 앙상블
자율주행 자동차가 운전 중 데이터를 사용해 올바른 주행 경로를 인지하고 선택할 수 있다는 것에 대한 신뢰를 보여주는 것은 정말 중요합니다. 이를 경로 인지 신뢰도라고 합니다.
NVIDIA DRIVE AP2X 플랫폼과 같은 레벨 2+ 시스템의 경우 경로 인지 신뢰도를 실시간으로 평가하는 것은 자율주행이 안전하게 구동될 경우와 운전자가 제어 장치를 다뤄야 할 경우를 적합하게 파악할 수 있는가를 말합니다.
경로 인지 신뢰도 검증을 위해서 50마일 정도 되는 실리콘밸리 외곽 순환 고속도로에서 완전한 자율주행을 시험해봤는데요. 이는 자율주행 자동차가 고속도로 교차로를 운행하고, 차선을 변경하며, 예기치 못한 출구는 회피하고, 높은 도로 굴곡이나 차선 표시가 제한돼 있는 상황에서도 차선을 유지할 수 있는지 등을 테스트해보는 것이었죠. 그리고 이런 모든 주행 상황에서 탑승자가 부드럽고 편안하게 느끼도록 해야만 했습니다.
이 시험의 가장 중요한 요점은 실시간이라는 점이었습니다. 사전 녹화 영상 분석 같은 오프라인 시험에서 경로 인지 신호는 항상 완벽한 참고 자료와 다를 바 없지만, 주행 중 신호가 실시간으로 주어질 경우라면, 실시간 지상 실측 정보 데이터의 장점을 찾기는 어렵죠.
결론적으로, 실시간 테스트에서 만약 자동차가 단 하나의 경로 인지 신호로 주행을 한다면, 실시간 정확성을 확보할 수 있는 방법이 없습니다. 게다가, 그 하나의 신호가 경로 인지 입력에 실패한다면 자율 주행 기능이 해제될 수도 있죠. 또한 해제되지 않는다고 해도, 주행의 편안함과 부드러움이 감소될 수 있습니다.
개별적인 네트워크가 앙상블을 이루다
엔비디아는 자율주행의 실시간 신뢰 구축을 위해 경로 인지 소프트웨어에 다양성과 중복성을 도입했습니다.
세 개의 서로 다른 심층 신경망(deep neural network, DNN)과 한 가지 옵션의 고화질 지도의 출력을 포함해 여러 개의 다양한 경로 인지 신호를 조합하였는데요. 세 가지 신호들이 모두 다르다는 사실은 다양성을 불러오고, 그 신호들이 모두 같은 일을 한다는 사실은 주행 가능한 경로를 인식함으로써 중복성을 만들어냅니다.
다양한 심층 신경망(DNN)에 의해 생성되는 경로 인지 신호는 매우 독립적입니다. 심층 신경망(DNN)은 트레이닝 데이터, 인코딩, 모델 구조, 그리고 트레이닝 출력 측면에서 모두 다르기 때문이죠.
예를 들어, LaneNet 심층 신경망(DNN)은 차선을 예측하도록 학습된 반면, PathNet 심층 신경망(DNN)은 차선의 유무에 상관없이 주행 가능한 경로를 규정하는 가장자리 부분을 예측하도록 트레이닝 됐습니다. 또한 PilotNet 심층 신경망(DNN)은 운전자의 운전 궤도를 바탕으로 운전 중앙 경로를 예측하도록 학습됐습니다.
엔비디아는 앙상블 기법을 사용해 다양한 경로 인지 출력을 조합했습니다. 바로 머신 러닝 방법인데요, 여러 가지 기본 모델을 조합해 최적의 예측 모델을 만들죠.
서로 다른 경로 인지 신호에 대한 합의, 불합의 분석을 통해 차내에 실시간 경로 인지 신뢰도를 구축하고 측정해 전반적으로 높은 품질의 결과를 얻을 수 있었습니다.
이 분석은 시각적으로 확인할 수 있습니다. 신호 구성 요소가 강하게 일치하면, 주어진 차선에 대한 중심 경로 예측을 나타내는 굵은 선이 녹색으로 표시되며, 그렇지 않을 경우 빨간색으로 바뀝니다.
자율주행 기술에 대한 접근방식은 다양성을 기반으로 하기 때문에 시스템 단계에서의 고장은 통계적으로 가능성이 적으며, 이는 안전성 관점에서 매우 유익하다고 볼 수 있죠.
DRIVE에 확신을 갖게 되다
다양성과 중복성을 통해 구축한 경로 인지 신뢰도로 중앙/왼쪽/오른쪽 차선, 차선의 변경/분리/형성, 그리고 장애물 등의 과제를 위한 중앙 경로와 차선의 예측을 포함한 모든 잠재적 경로를 평가할 수 있었습니다.
주행 중 여러 경로의 인지 심층 신경망(DNN)이 장애물을 인식하고 추적하는 기능과 함께 차내에서 실행되고 있었는데요. 이러한 작업들이 동시에 운행돼야 한다는 점은 자율주행 자동차의 안전성을 위한 고성능 컴퓨팅의 실질적 중요성을 강조하죠.
경로 인지 앙상블이라고 하는 이 소프트웨어 기능은 NVIDIA DRIVE Software 9.0 출시와 함께 제공될 예정입니다. 자세한 내용은 https://developer.nvidia.com/drive/drive-perception에서 확인할 수 있습니다.