AI로 현실 세계를 재구성하는 NVIDIA DRIVE Sim

자율주행 자동차 시뮬레이션은 두 가지 난제를 풀어야 합니다. 바로 인공지능(AI) 운전자가 시뮬레이션을 실제같이 인식할 정도로 충분히 세부적이고 사실적인 세상을 만드는 일, 완벽하게 훈련되고 테스트될 필요가 있는 사례 모두를 담을 만큼 충분히 큰 규모의 시뮬레이션을 만드는 일이죠.

이런 난제를 해결하기 위해 NVIDIA 연구원들은 실제 세계 데이터로 직접 시뮬레이션을 구축하는 새로운 AI 기반 툴을 개발했습니다. NVIDIA의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 GTC 키노트에서 해결책을 선보였습니다.

이번 연구에는 지난달 열린 컴퓨터그래픽 컨퍼런스인 SIGGRAPH에서 처음 발표된 수상작들이 포함돼 있습니다.

신경 재구성 엔진(Neural Reconstruction Engine)

신경 재구성 엔진은 여러 AI 네트워크를 사용해 녹화된 비디오 데이터를 시뮬레이션으로 변환시키는 NVIDIA DRIVE Sim 시뮬레이션 플랫폼의 새로운 AI 툴 세트입니다.

이 새로운 파이프라인은 AI를 통해 환경, 3D 애셋, 시나리오 등등 시뮬레이션에 필요한 핵심 구성 요소를 자동으로 추출합니다. 그런 다음 이런 요소들은 데이터 기록의 현실 같은 모습을 갖췄으면서도 완전히 반응적이며 필요에 따라 조작 가능한 시뮬레이션 장면으로 재구성되죠. 이 정도로 세부적이고 다양한 시뮬레이션을 수작업으로 구성하려면 비용과 시간이 많이 들고 확장성이 떨어지게 됩니다.

환경과 애셋

시뮬레이션은 작동하기 위한 환경이 필요한데요. 이 신경 재구성 엔진은 실제 세계에서 얻은 2D 영상 데이터를 DRIVE Sim에 로딩할 수 있는 동적인 3D 디지털 트윈 환경으로 변환시켜주죠.

이 DRIVE Sim AI 파이프라인은 다른 3D 애셋을 재구성하기 위해 유사한 프로세스를 따릅니다. 엔지니어는 애셋을 사용해 현재 장면을 재구성하거나 모든 시뮬레이션에서 쓸 수 있는 큰 애셋 라이브러리를 배치할 수 있습니다.

애셋을 수집하는 이런 파이프라인을 사용하는 것이 DRIVE Sim 라이브러리를 확장하고 반드시 실제 세계의 다양성과 분포에 맞게 만드는 데 중요합니다.

실제 세계 데이터에서 애셋을 수집해 3D 객체로 전환하고 다른 장면에서 재사용할 수 있습니다. 여기서 견인차는 왼쪽 장면에서 재구성되어 오른쪽에 표시된 다른 시뮬레이션에 사용되고 있습니다.

시나리오

시나리오는 애셋과 결합된 환경에서 시뮬레이션 중에 발생하는 사건들을 말합니다.

신경 재구성 엔진은 장면에 나오는 행위자에게 AI 기반 행동을 할당하여 원래의 사건들과 함께 제시될 때 실제 주행처럼 정확하게 똑같이 움직이게 합니다. 하지만 행위자들에게는 AI 행동 모델이 있기 때문에, 시뮬레이션 내에서 행위자들은 시청각(AV)이나 다른 장면 요소에 따른 변화에 반응하고 대응할 수 있죠.

이런 시나리오들은 모두 시뮬레이션에서 발생하기 때문에 새로운 상황을 추가하기 위해 조작될 수도 있습니다. 사건의 타이밍과 위치도 변경할 수 있죠. 개발자는 심지어 합성됐거나 실제적으로 완전히 새로운 요소들을 통합해 사건을 더 복잡하게 구현할 수 있습니다. 아래 장면처럼 아이가 공을 쫓는 사건을 첨가하는 경우도 그런 경우입니다.

DRIVE Sim으로의 통합

환경, 애셋, 시나리오가 일단 추출된 후에는 DRIVE Sim에서 재조립되어 기록된 장면의 3D 시뮬레이션을 생성하거나 다른 애셋과 혼합되어 완전히 새로운 장면을 생성합니다.

DRIVE Sim은 개발자가 동적이거나 정적인 객체, 차량 경로, 차량 센서의 위치, 방향, 매개 변수를 조정할 수 있는 툴을 제공합니다.

DRIVE Sim의 동일한 장면은 인식 시스템을 훈련시키기 위해 미리 레이블이 지정된 합성 데이터를 생성하는 데에도 사용됩니다. 훈련 데이터에 다양성을 추가하기 위해 재생성된 장면에 무작위화가 적용됩니다. 실제 세상 데이터로 장면을 만들면 시뮬레이션과 실제 세상 간의 차이가 크게 줄어들죠.