NVIDIA DRIVE Labs 시리즈는 엔지니어링의 측면에서 자율주행 자동차 개발의 난관을 살펴보고, NVIDIA DRIVE를 활용한 해결 방법을 소개합니다. 자율주행 자동차 관련 포스팅은 여기에서 확인하세요.
자율주행 자동차에는 주변 차량의 움직임을 감지하는 것 이상의 능력이 필요합니다. 움직이지 않는 물체들을 구분하는 능력 또한 중요하죠.
생각해보면 카메라에 기반하여 이러한 판단들은 별 무리가 없어 보일지도 모릅니다. 그러나 낮은 조도, 악천후, 물체의 상당 부분이 가려져 있는 상황 등은 카메라의 시야에 악영향을 끼치기도 합니다. 따라서 레이더 등의 다양한 센서로 시스템을 이중화해 카메라의 업무를 대신 수행할 수 있도록 하는 것이 중요하죠. 이때 기존의 처리 방식에 입각한 레이더 센서를 추가하는 것만으로는 부족할 수 있습니다.
다음의 DRIVE Labs 영상은 물체의 움직임 파악에 AI를 활용해 기존의 레이더 신호 처리의 단점을 해결하고, 자율주행 자동차의 차량 인식 능력을 강화하는 방법을 소개합니다.
기존의 레이더 처리 방식은 주변의 물체에 레이더 신호를 쏘아 반사돼 돌아오는 신호의 강도와 밀도를 분석합니다. 반사 신호가 강도와 밀도 면에서 충분히 강력하다면 해당 물체가 대형일 가능성이 높다고 판단하는 방식이죠. 이 반사 신호들이 시간의 경과에 따라 움직인다면 차량일 가능성이 있습니다.
이러한 접근법은 이동 중인 차량을 유추하는 데에는 효과적일 수 있지만, 정지해 있는 차량의 경우에는 상황이 달라집니다. 정지한 물체는 밀도가 높은 반사 신호를 보내지만 움직임이 없죠. 이때 기존 레이더 처리 방식에서는 해당 물체가 분리대, 고장 난 자동차, 고가도로 등 무엇이든 될 수 있습니다. 다시 말해, 이들을 구체적으로 구분할 수 있는 방법이 없는 셈입니다.
레이더 DNN의 도입
이 접근법의 한계를 극복하는 방법의 하나로 심층신경망(DNN) 형태의 AI가 사용됩니다.
NVIDIA는 물체의 움직임 여부를 감지하는 한편 정지한 물체의 종류까지 정확히 구분할 수 있는 DNN을 레이더 센서가 수집한 데이터에 기반해 훈련했습니다.
DNN의 훈련에 앞서, 레이더 데이터의 희소성 문제부터 극복해야 했습니다. 레이더 반사 신호는 상당히 희소할 수 있기 때문에 인간이 레이더 데이터에만 의존해서 차량을 시각적으로 파악하고 분류하는 것은 현실적으로 불가능합니다.
그러나 라이다(lidar)는 레이저 펄스(laser pulse)를 이용하여 주변 물체의 3D 이미지를 생성할 수 있습니다. DNN용 지상 실측 데이터는 그림1에서 보는 바와 같이 해당 라이다 데이터세트의 경계 상자 레이블을 레이더 데이터에 옮겨 생성했습니다. 이렇게 하면 라이더 데이터상에서 차량을 시각적으로 파악하고 분류하는 인간의 능력을 레이더의 영역으로 원활히 이전할 수 있습니다.
또한 레이더 DNN은 차량 감지 방법과 더불어 3D 형상과 면적, 방향까지 학습할 수 있습니다. 이는 기존의 방식으로는 달성이 힘든 부분인데요.
이러한 정보들 덕분에 레이더 DNN은 정지해 있는 장애물의 종류까지 구분하여 실제 확실한 탐지의 신뢰도를 높이는 한편 거짓된 탐지를 줄일 수 있습니다.
레이더 DNN이 산출하는 3D 인식 결과의 신뢰도가 높아지면, 자율주행 자동차의 예측, 계획, 제어 소프트웨어가 보다 우수한 주행 결정을 내릴 수 있게 됩니다. 이는 특히 까다로운 시나리오에서 효과적이죠. 그동안 레이더로는 해결이 힘들었던 정확한 형상과 방향 예측, 정지 차량 또는 고속도로의 고가도로 아래에 있는 차량 감지 등 오류가 훨씬 적을 것입니다.
레이더 DNN의 아웃풋은 기존의 레이더 처리 방식과 통합됩니다. 이 두 가지 구성 요소가 결합하여 NVIDIA의 레이더 장애물 인식 소프트웨어 스택의 기초를 이룹니다.
이 스택은 카메라 기반 장애물 인식을 완벽하게 이중화하도록 설계됩니다. 또한 레이더 전용 인풋으로 계획과 제어를 진행하는 한편 카메라 인식 또는 라이다 인식 소프트웨어와도 통합이 가능합니다.
이렇듯 종합적인 레이더 인식 기능을 통해 자율주행 자동차들은 주변 환경 인식의 신뢰도를 높일 수 있습니다.
NVIDIA가 현재 구축 중인 소프트웨어의 기능과 관련한 더 자세한 내용은 DRIVE Labs 시리즈를 확인하세요.