NVIDIA Omniverse가 자율주행 자동차의 상용화로 가는 길을 가속하고 있습니다.
젠슨 황(Jensen Huang) NVIDIA 창립자 겸 CEO는 GTC 2021 기조 연설에서 차세대 자율주행 자동차 시뮬레이션인 NVIDIA DRIVE Sim을 발표한 바 있는데요. 이제 NVIDIA Omniverse에서 구동되는 NVIDIA DRIVE Sim을 만나볼 수 있습니다.
DRIVE Sim은 클라우드 기반의 강력한 컴퓨팅 플랫폼을 제공하는 NVIDIA의 핵심 테크놀로지를 활용해 고충실도(high-fidelity) 시뮬레이션을 구현합니다. 차량의 인지 시스템 훈련에 사용될 데이터세트를 생성하고 가상의 성능 시험장을 제공하여 차량의 의사 결정 과정과 엣지 활용 사례의 처리 능력을 검증합니다. 이 플랫폼을 루프 내 소프트웨어(software-in-the-loop, SITL)나 루프 내 하드웨어(hardware-in-the-loop, HIL) 설정의 AV 스택에 연결하여 주행 경험 일체를 검증할 수도 있습니다.
Omniverse와 DRIVE Sim의 만남은NVIDIA가 자율주행 자동차 시뮬레이션의 토대를 게임 엔진에서 시뮬레이션 엔진으로 전환하는 과정에서 이룩한 중대한 진전입니다.
자율주행 개발 전용으로 구조화된 시뮬레이션에의 전환은 상당한 노력을 요하지만 동시에 새로운 기능과 기회를 제공하기도 합니다.
Omniverse와 만나다
자율주행 자동차의 시뮬레이션을 위해 특별히 고안된 플랫폼을 구축하는 것은 쉬운 일이 아닙니다. 게임 엔진은 놀라운 기능을 제공하는 강력한 도구지만 게임 개발을 위해 설계된 것일 뿐, 과학적이고 물리적으로 정확하며 반복이 가능한 시뮬레이션을 위해 만들어진 것은 아니죠.
차세대 DRIVE Sim의 설계에는 새로운 접근법이 필요했습니다. 이 새로운 시뮬레이터는 정확한 타이밍으로 반복이 가능하고 GPU와 서버 노드에서 간편하게 스케일링(scaling)되며, 센서 피드를 물리적으로 정확하게 시뮬레이션하는 동시에 모듈식의 확장 가능한 플랫폼으로 기능해야 했습니다.
Omniverse는 NVIDIA가 개발한 거의 모든 핵심 테크놀로지의 집합체입니다. 그리고 DRIVE Sim은 그래픽과 고성능 컴퓨팅, AI와 하드웨어 디자인 분야에서 NVIDIA가 보유한 전문성을 활용합니다. 이 기능들이 서로 결합하여 자율주행 자동차 시뮬레이션에 완벽한 테크놀로지 플랫폼을 제공합니다.
보다 구체적으로 살펴보면 Omniverse가 제공하는 플랫폼은 처음부터 다중 GPU 컴퓨팅을 지원하도록 설계됐습니다. 또한 NVIDIA RTX 테크놀로지에 기반해 물리적으로 정확한 레이 트레이싱 렌더러를 갖추고 있습니다.
NVIDIA Omniverse에 포함된 ‘Kit’는 스케일링과 확장이 가능한 시뮬레이션 프레임워크로 인터랙티브 3D 애플리케이션과 마이크로서비스(microservices)의 구축에 사용됩니다. NVIDIA가 작년 한 해 동안 Kit를 활용해 구축한 DRIVE Sim 코어 시뮬레이션 엔진은 반복 가능한 시뮬레이션을 지원하면서 프로세스 전체를 정확히 제어합니다.
타이밍과 반복 가능성
자율주행 자동차 시뮬레이션이 효과적인 개발 도구가 되려면, 시나리오들의 반복이 가능하고 타이밍이 정확해야 합니다.
일례로 NVIDIA Omniverse는 센서와 환경 렌더링 기능 일체의 계획과 관리를 담당하여 정확도의 손실 없이 반복 가능성을 확보합니다. 이 같은 작업이 GPU와 노드 전반에서 수행되므로 DRIVE Sim은 세세한 환경을 처리하고, 복잡한 센서 제품군을 탑재한 차량을 검증할 능력을 갖게 됩니다. 또한 실제 시간보다 느리거나 빠른 워크로드를 관리하면서 반복적인 결과를 생성할 수도 있습니다.
Omniverse는 유연하고 정확할 뿐 아니라 스케일링 또한 가능하므로 다양한 센서 제품군을 탑재한 차량들을 대규모로, 그리고 최고 수준의 충실도로 구동할 수 있습니다.
물리적으로 정확한 센서
시뮬레이션 환경은 실세계의 주행 조건을 정확히 재현해야 합니다. 또한 카메라와 레이더, 라이더(lidar)가 물리적 세계에서 데이터를 가져오는 것과 정확히 일치하는 방식으로 차량 센서 데이터를 렌더링해야 합니다.
NVIDIA RTX 테크놀로지를 활용하는 DRIVE Sim은 물리적으로 정확한 센서 데이터의 실시간 렌더링이 가능합니다. 레이 트레이싱은 가시적⋅비가시적 파동 형태의 물리적 특징을 시뮬레이션해서 사실적인 빛을 제공하는 기법인데요. NVIDIA Omniverse RTX 렌더러와 NVIDIA RTX GPU가 결합한 덕분에 실시간 프레임률로 레이 트레이싱이 가능합니다.
빛을 실시간으로 시뮬레이션하는 기능은 자율주행 자동차 시뮬레이션에 큰 도움이 됩니다. 탱크로리에서 반사되는 빛부터 어둑한 터널 내부의 그림자에 이르기까지, 래스터화(rasterization)로는 사실상 캡처가 불가능한 빛 환경을 재현하게 해줍니다.
물리적으로 정확한 센서 데이터의 생성은 AI 기반 인지 네트워크 훈련용 데이터세트를 구축하여 가상의 센서 데이터에서 실측 데이터를 산출하는 데 특히 중요합니다. DRIVE Sim은 강력한 파이썬(Python) 스크립팅 인터페이스와 도메인 무작위화(domain randomization) 툴 등 진일보한 데이터세트 생성을 위한 도구들을 제공합니다.
이렇게 만들어진 합성 데이터를 심층신경망 훈련 프로세스에 사용하면 실세계 데이터의 수집과 라벨링(labeling)에 드는 비용이 절감되고, 자율주행 차량 전개(deplopyment)의 간소화를 위한 반복 작업의 속도가 빨라집니다.
모듈식과 확장성
DRIVE Sim은 모듈식에 확장이 가능한 개방형 플랫폼이므로 시뮬레이션 검증 시에 궁극의 유연성과 효율성을 제공합니다.
Omniverse에서 구동되는 DRIVE Sim은 서로 다른 구성 요소들이 서로 다른 활용 사례를 지원하도록 실행할 수 있습니다. 한 그룹의 엔지니어들이 시뮬레이션의 인지 스택만 실행하는 동안, 다른 그룹은 실측 오브젝트 데이터에 근거한 시나리오를 시뮬레이션해서 계획과 제어 스택에 집중하는(다시 말해 인지 스택은 건너뛰는) 방식입니다.
이러한 모듈화는 당면한 작업에 집중하도록 유도하여 개발 시간을 크게 단축하는 한편, 팀 전체가 시뮬레이션에서 동일한 툴과 시나리오, 모델과 에셋을 사용할 수 있게 보장해 일관된 결과의 도출에 기여합니다.
DRIVE Sim은 NVIDIA Omniverse Kit SDK를 사용하여 맞춤형 모델, 3D 컨텐츠와 인증용 툴을 구축하거나 다른 시뮬레이션과 인터페이스로 접속할 수 있게 해줍니다. 사용자는 플러그인을 직접 만들거나 DRIVE Sim 생태계의 파트너들이 제공하는 차량, 센서, 교통 플러그인의 풍부한 라이브러리에서 선택할 수도 있습니다. 이러한 유연성에 힘입어 사용자 고유의 활용 사례에 맞춘 DRIVE Sim의 커스터마이징이 가능하며, 개발과 인증상의 필요에 따라 시뮬레이션 경험을 조정할 수 있습니다.
Omniverse에서 구동되는 DRIVE Sim은 올여름 조기 체험 프로그램을 통해 제공될 예정입니다.
NVIDIA DRIVE Sim에 대해 더 자세히 알아보고, 보다 안전하고 효율적인 차량의 개발을 지금 가속하세요.