편집자 주: 이 블로그는 엔비디아 드라이브 랩(NVIDIA DRIVE Labs) 시리즈의 최신 블로그입니다. 엔비디아 드라이브 랩 시리즈를 통해 자율주행 자동차가 본격 상용화되기까지 남은 과제들과 개별 사례를 엔지니어링 관점에서 살펴보고, 엔비디아 드라이브 AV 소프트웨어 팀이 각각의 사례들을 어떻게 해결하고 있는지 알아보겠습니다. 여기를 클릭해 이 시리즈의 다른 블로그도 확인해 보세요.
도로를 지나다 보면 교차로를 흔히 볼 수 있습니다. 집 근처 사거리나 복잡한 다차선 도로에서 여러 대의 신호등이 설치된 교차지점 등이죠.
미국에서 심각한 교통사고의 50% 이상이 교차로나 그 근방에서 일어나는데요, 이렇게 교차로에서 일어나는 교통사고의 빈도, 다양성, 위험도를 감안하면 자율주행 자동차가 교차로에서 오차없이 정확하게 주행하는 것이 매우 중요합니다.
자율주행 자동차가 교차로에 문제없이 주행하기 위해서는 여러가지 아주 복잡한 과제를 해결할 수 있어야 하죠. 자동차 대기선이나 횡단보도 앞에서 정확히 정차하기, 다양한 조건에서 교통규칙을 제대로 처리하고 해석하기, 교차로에서 직진하거나 비보호 좌회전하기 등 다양한 상황에서 어느 쪽으로 갈지 결정해서 정확한 경로로 주행하는 기능을 갖춰야 합니다.
앞서 공개된 드라이브 랩 블로그에서는 엔비디아 드라이브 랩에서 웨이트넷(WaitNet) DNN을 통해 교차로, 신호등, 표지판을 어떻게 감지하는지와 라이트넷(LightNet)과 사인넷(SignNet) DNN을 통해 다양한 신호등과 표지판을 어떻게 분류하고 있는지 소개했었는데요, 이번 블로그에서는 엔비디아가 인공지능(AI)으로 자율주행 자동차가 일상에서 맞닥뜨리는 다양한 교차로 구조물을 어떻게 인지하는지 상세히 설명하도록 하겠습니다.
수동으로 제작하는 주행 지도
기존에는 교차로와 그 주변환경을 고화질 3D 시맨틱 지도(semantic maps)로 만들어 교차로의 구조를 이해하고 안전한 주행 경로를 설정했죠.
이런 지도를 제작하기 위해서는 관련된 모든 구조물, 예를 들면 진입·진출·분리선의 위치, 신호등과 표지판의 위치, 모든 방향으로 차선이 몇 개로 나뉘는지 등을 작업자가 수작업으로 일일이 인코딩해야 했습니다. 교차로에서 발생할 수 있는 상황 별 시나리오의 난이도가 높을수록 더 많은 수작업이 필요한거죠.
이 작업방식의 문제는 바로 확장성입니다. 자율주행 자동차가 주행하려면 그 전에 전세계의 모든 교차로를 수작업으로 라벨링해야 합니다. 이 방법은 데이터 수집과 라벨링 면에서 실용적이지 않을 뿐 아니라, 비용도 많이 듭니다.
또 다른 문제는 공사 현장 같은 일시적인 도로 상황입니다. 이와 같은 일시적인 도로 위 시나리오를 지도상에 반영했다가 삭제하는 것은 쉽지 않습니다.
반면에 엔비디아는실제 사람이 주행할 때와 비슷한 방법을 쓰는데요, 운전자는 지도에 의존하기 보다는 그때 그때 실시간 인지능력을 이용해 교차로의 구조를 이해하고 주행합니다.
교차로를 구조적으로 이해하기
엔비디아의 알고리즘은 웨이트넷 DNN의 기능을 확장해 교차로 구조물을 우리 몸에 있는 관절과 유사한 ‘조인트(관절, joints)’라는 지점의 집합체로 예측합니다. 사람의 팔다리가 관절로 연결돼 우리가 움직일 수 있는 것처럼 자율운행 자동차가 교차를 통해 움직이는 것은 교차로 구조를 자동차가 따라갈 수 있는 경로로 연결함으로써 가능해지는 것이죠.
그림1. 교차로 구조 예측. 빨간색=자율운행 자동차의 교차로 진입 대기선, 노란색=다른 차량을 위한 교차로 진출 대기선, 녹색=교차로 진출선. 이 그림에서 녹색선은 자율운행 자동차가 가장 왼쪽에 있는 차선에 도착했을 경우 교차로에서 나올 수 있는 직진, 좌회전, U턴등 가능한 모든 방법을 보여줍니다.
DNN은 이미지의 윤곽선을 분할하기 보다는 다양한 차선의 진입·진출 지점을 구별할 수 있습니다. 엔비디아의 접근법의 또 다른 장점은 교차로 구조 예측이 폐색(occlusion)과 부분 폐색(partial occlusions)에 대해 적절하게 이뤄지며, 도로에 페인트칠 되어 있는 교차선을 예측할 뿐 아니라 페인트칠 되어 있지 않은 교차선까지도 추론할 수 있다는 것입니다.
<그림 1>의 주요 교차로 지점들은 교차로 주행 경로 용도로 서로 연결할 수 있습니다. 교차로 진입점과 진출점을 연결해 자율주행 자동차가 따라갈 경로와 이미 이동한 경로를 예측할 수 있습니다.
엔비디아의 실시간 인식 접근법은 모든 교차로 정보를 일일이 수작업으로 라벨링할 필요 없이 다양한 유형의 교차로 정보를 처리할 수 있는 확장성을 제공하는데요, 이 접근법에 고품질 데이터를 제공하는 지도 정보를 추가해 복잡한 교차로에서 주행할 수 있는 다양한 여분의 데이터를 처리할 수 있습니다.
엔비디아의 DNN 기반 교차로 구조물 인식 기능은 웨이트넷 DNN의 부가기능으로 곧 출시될 드라이브 소프트웨어(DRIVE Software)를 통해 제공될 것입니다. DNN 모델에 대한 보다 자세한 정보는 드라이브 퍼셉션(DRIVE Perception) 페이지에서 확인하세요.