자율주행을 위한 소프트웨어와 인프라 – 엔비디아는 어떻게 준비하고 있나

‘GTC 디지털’에서 엔비디아 드라이브(NVIDIA DRIVE) 개발 과정을 자세하게 살펴 볼 수 있습니다
by NVIDIA Korea

자율주행 차량은 개발과정 자체가 인공지능적이어야 합니다.

바로 이런 이유 때문에 엔비디아는 소프트웨어로 운행되는 자율주행 자동차를 위한 AI 포트폴리오를 구축했습니다. 데이터 센터에서 자율주행 자동차 내부 컴퓨터에 이르는 완전한 AI 포트폴리오죠. 이번 달 GTC 디지털에서는 이러한 개발 과정이 어떻게 진행되는 지, 어떻게 안전하고 효율적인 교통수단을 구현해 가는지, 엔비디아 내부 이야기를 전해드립니다.

자율주행차가 전세계 어디서나 완전 무인 주행을 하려면 수 천 가지의 조건에서 작동할 수 있어야 합니다. 이러한 능력을 갖기 위한 핵심 요소는 엄청난 양의 데이터입니다.

무슨 의미인지 차근히 살펴볼까요? 하루 6시간 주행하는 자동차 50대가 하루 동안 생산하는 센서 데이터 양은 약 1.6페타바이트에 달합니다. 만약 이 데이터를 전부 표준 1GB 플래시 드라이브에 저장한다면, 축구장 100개를 덮고도 남을 것입니다. 그런 다음 차 안에서 작동하면서 객체 인식, 측위(localization: 현재자율주행 차량 위치를 파악하는 기술)와 같은 다양한 전용 기능을 수행할 딥 뉴럴 네트워크을 트레이닝을 하기 위해서 이 데이터를 큐레이션(curation)하고 라벨링 해야 합니다.

이런 소프트웨어를 트레이닝하고 테스트할 인프라에는 이렇게 엄청난 데이터 니즈를 처리할 수 있는 고성능 슈퍼컴퓨터가 반드시 포함되어야 합니다. 그리고, 효율적인 구동을 위해 시스템은 반드시 이 데이터를 지능적으로 큐레이션하고 정리할 수 있어야 합니다. 마지막으로, 개발 과정에서 버그를 쉽게 찾아 고칠 수 있도록 추적성이 있어야 하고, DNN의 능숙도를 보장하기 위해 같은 시나리오를 계속해서 반복하는 반복성을 가져야 합니다.

GTC 디지털 시리즈 일환으로 미래 자동차 발전을 이끌고 있는 관련된 전체 개발 및 트레이닝 인프라와 함께 그 과정에서 만들어진 DNN의 일부를 소개합니다.

데이터 센터에서 태어나고 성장하다

오늘날의 차량이 공장 조립 라인에서 만들어 진다면, 자율주행 차량은 데이터 센터에서 탄생합니다. GTC 디지털 세션에서 클레멘트 파라벳, 엔비디아 AI 인프라 사업부 부사장은 자율주행자동차 개발을 위한 고성능 엔드 투 엔드 플랫폼을 상세하게 설명합니다.

엔비디아 AI 인프라 부문 부사장 클레멘트 파라베트

엔비디아 내부 AI 인프라에는 페타바이트의 주행 데이터를 저장하고 처리하는 엔비디아 DGX 서버가 있습니다. 종합 트레이닝을 위해 개발자들은 50억에서 100억개의 프레임으로 작업해서 개발하고 DNN 성능을 평가해야 합니다.

고성능 데이터 센터 GPU는 이 데이터를 처리하는데 걸리는 시간을 단축해 줍니다. 또한, 파라벳 부사장이 이끄는 팀은 능동 학습과 같은 고급 학습법을 활용해서 개발 시간을 최적화합니다.

DNN 트레이닝에 사용할 주행 데이터를 큐레이션하고 라벨링하기 위해 인간에게만 전적으로 의존하는 대신 능동학습은 DNN이 학습하는데 필요한 데이터를 선택할 수 있게 만들어줍니다. 전용 신경망은 프레임 풀을 통과하면서 불확실성을 보이는 것들을 표시합니다. 그런 다음 표시된 프레임은 수작업 라벨링을 거쳐 DNN 트레이닝에 사용되면서 DNN이 정확하게 새로운 데이터나 헷갈리는 데이터로부터 학습하도록 만듭니다.

고성능 데이터 센터 GPU로 자율주행 DNN를 트레이닝, 테스트하고, 검증할 수 있습니다.

일단 트레이닝을 하고 나면 DNN은 엔비디아 드라이브 컨스텔레이션(NVIDIA DRIVE Constellation) 시뮬레이션 플랫폼에서 테스트와 검증을 거치게 됩니다. 이 플랫폼은 클라우드 기반 솔루션으로 실제 세계보다 향상된 효율성, 비용효율성, 안전성으로 일상 주행부터 이례적이거나 위험한 상황의 주행까지 포함하는 포괄적인 시나리오의 가상 환경에서 수 백만 마일을 주행할 수 있게 해줍니다.

드라이브 컨스텔레이션의 고충실도 시뮬레이션으로 공공 도로에서 주행하기 전에 가능한 모든 시나리오와 조건에서 DNN을 반복해서 테스트할 수 있습니다.

데이터 센터 트레이닝과 결합되면 개발자들은 시뮬레이션을 통해 추적 및 반복 가능한 자동화된 개발 과정에서 자신의 소프트웨어를 지속적으로 개선할 수 있습니다.

엣지의 DNN

트레이닝과 검증이 끝난 다음 이제 DNN은 차 안에서 작동할 수 있습니다.

GTC 디지털에서, 네다 시비에, 엔비디아 자율주행차 담당 선임 매니저이자 드라이브 랩 비디오 시리즈 진행자는 엔비디아에서 개발한 자율주행 DNN 샘플링을 소개했습니다.

네바 시비에, 엔비디아 자율주행차 담당 선임 매니저

자율주행 자동차는 안전한 주행을 위해서 인식, 맵핑, 측위를 커버하는 많은 DNN를 구동합니다. 인간에게는 이런 작업이 간단해 보이지만 성공적으로 수행하려면 지능형 방식이 필요한 모두 복잡한 과정입니다.

예를 들어 도로 사물, 보행자, 주행가능한 공간 등을 구분하기 위해서 한 DNN은 ‘판옵틱 세그멘테이션(panoptic segmentation)’이라고하는 픽셀 레벨의 정확성으로 상황을 식별하는 프로세스를 이용합니다.

다양한 환경에서 주차 공간을 인식하도록 만들기 위해 개발자들은 파크넷(ParkNet) DNN이 직사각형이 아니라 4면의 다각형으로 지점을 파악할 수 있게 가르쳐서 입구와 비스듬한 공간을 구분할 수 있게 합니다.

엔비디아의 라이다넷(LidarNet) DNN은 정확하고 완벽하게 정보를 인식하기 위해 다시점을 융합함으로써 측위와 관련해 라이다 데이터 처리에서 발생하는 문제를 다룹니다.

라이다넷 DNN은 다시점을 이용해서 고도로 정확한 측위를 수행합니다.

이런 DNN와 그 밖의 DNN를 결합해서 엔비디아 드라이브 AGX 플랫폼과 같은 고성능 차내 컴퓨트에서 돌리면 자율주행 차량은 인간 운전자 없이도 종합적인 인식과 계획 그리고 제어를 수행할 수 있습니다.

GTC 디지털 사이트에서는 위 세션과 그 밖의 무료 세션을 진행하고 있고, 엔비디아 전문가들과 드라이브 에코시스템이 제공하는 새로운 콘텐츠가 매주 목요일마다 4월23일까지 추가됩니다. 여기에서 등록하고, 최신 정보를 받아보세요.