간단한 규칙: 거리를 판단할 수 없다면 운전을 안 하면 된다.
문제점: 거리를 판단하는 것은 결코 쉽지 않다.
인간은 고도로 동기화된 두 개의 고해상도 시각 기관을 갖고 있습니다. 바로 눈이죠. 눈은 뇌에서 처리되는 3차원 시각을 통해 거리를 측정할 수 있게 해줍니다.
인간의 눈과 비교할 수 있는 무인 자동차의 이중 카메라 스테레오 비전 시스템은 매우 민감합니다. 카메라 동기화에 조금이라도 문제가 생기면, “시간 조정 오류”로 이어져 부정확한 거리 추정치를 생성하죠.
그래서 자동차는 단일 카메라로 수집한 데이터를 이용해 물체까지의 거리를 탐지합니다. 그러나 단일 카메라를 사용할 경우 여러 가지 문제가 발생합니다.
딥 뉴럴 네트워크(Deep Neural Network, DNN) 기술이 출현하기 이전, 단일 카메라를 이용한 일반적인 객체간 거리 계산 방법은 지반이 평평하다는 가정하에 이루어졌는데요. 이러한 가정을 바탕으로 카메라 이미지의 2차원 정보를 사용하여 3차원 세계를 구현했죠. 광학 기하학은 기준 차량에서 물체의 거리를 추정하는 데 사용됩니다.
하지만 이 계산 방법은 현실에 적용했을 때 종종 실제와 괴리가 있죠. 오르막길이나 내리막길에서는 지반이 평평하지 않기 때문에 부정확한 결과를 초래할 수 있기 때문입니다.
이러한 잘못된 추정치는 부정적인 결과를 가져올 수 있습니다. 자동 주행 속도 유지 장치, 차선 변경 안전 점검 장치, 차선 변경 실행 장치는 모두 정확한 거린 판단에 의존하기 때문이죠.
거리가 과대 측정돼 물체가 실제보다 멀리 떨어져 있다고 판단되면 자동 주행 속도 유지 장치가 작동하지 않을 수 있습니다. 이보다 더 심각한 것은 자동 비상 제동 기능이 제대로 작동하지 않을 경우죠.
반대로 장애물이 실제보다 가까이 있다고 잘못 판단할 경우에도 문제가 발생하는데요. 불필요한 상황에서 자동 주행 속도 유지 장치나 비상 제동이 작동하는 경우입니다.
딥 러닝으로 정확한 거리 측정
이와 같은 문제점을 해결하기 위해, 엔비디아는 콘볼루션 뉴럴 네트워크와 전면 카메라 한 대에서 수집한 데이터를 사용합니다. 딥 뉴럴 네트워크(DNN)는 일반 및 광선 레이더 센서 데이터를 지상 실측 정보로 사용하여 물체까지의 거리를 예측하도록 훈련됩니다.
엔지니어들은 측정된 정보가 정확하다는 것을 알고 있습니다. 전송된 일반 레이더 및 광선 레이더의 직접적인 반사가 도로의 굴곡과 상관없이 정확한 객체간 거리 정보를 전달하기 때문이죠
일반 레이더 및 광선 데이터에 대한 딥 뉴럴 네트워크(DNN) 훈련은 평평한 지반에서만 적용되는 가정에 의존하지 않고, 차량이 오르막길이나 내리막길을 주행할 경우에도 단일 카메라에서 물체까지의 거리를 추정할 수 있도록 합니다.
엔비디아 자사의 교육세션에서는 지상 실측 정보를 위한 생성 및 인코딩 파이프라인이 자동화됩니다. 따라서 딥 뉴럴 네트워크(DNN)는 수동으로 표시된 데이터의 병목 현상 없이, 센서에서 수집한 만큼의 데이터로 훈련될 수 있죠.
엔비디아는 딥 뉴럴 네트워크(DNN) 기반의 객체간 거리 추정을 종 방향, 속도 증가와 감속, 측면 제어와 조종장치에 대한 물체 감지 및 카메라 기반 추적 기능과 함께 사용합니다. 딥 뉴럴 네트워크를 사용한 객체간 거리 계산에 대한 자세한 내용은 NVIDIA 의 DRIVE Networks 페이지를 참조하세요.