최근 더욱 많은 자동차 주행 기능이 첨단 운전자 보조 시스템(ADAS)으로 자동화되고 있지만 여전히 운전자는 주행에 집중해야 하며 인공지능(AI) 시스템을 신뢰해야 하는 데요.
일반적으로 기존 운전자 모니터링 시스템은 주행 제어를 시작해도 되는지 판단하는 근거가 되는 운전자의 인식 상태나 행동 등 운전자의 미묘한 변화를 인식하지 못합니다.
하지만 확장 가능한 개방형 콕핏(cockpit) 소프트웨어 플랫폼인 NVIDIA DRIVE IX는 AI 기능을 통해 증강 현실과 가상 현실을 이용한 인텔리전트 시각화, 대화형 AI와 실내 감지 기능 등 차량내 환경을 광범위하게 지원합니다.
운전자 인식은 NVIDIA DRIVE IX 플랫폼에서 자율주행 시스템을 통해 운전자가 경각심을 가지고 도로주행에 주의를 기울이게 하는데 중요한 역할을 하죠. 또한 AI 시스템으로 콕핏 기능을 보다 직관적이고 인텔리전트하게 만들어줍니다.
멀티 DNN(심층신경망) 접근법
얼굴 표정은 분석하기에 복잡한 신호 체계라고 볼 수 있는데요. 이마에 생기는 주름이나 시선의 움직임 등과 같은 얼굴 신호는 여러가지 의미로 해석될 수 있습니다.
NVIDIA DRIVE IX는 얼굴을 인식하고 탑승자의 표정을 분석하기 위해 멀티 DNN를 사용합니다. 첫번째 DNN은 얼굴 자체를 감지한다면, 두 번째 DNN은 눈 위치, 코 등과 같은 기준점을 파악하죠.
이와 같은 기본적인 DNN 말고도, 다양한 종류의 DNN가 운전자가 주의를 기울이고 있는지 혹은 AI 시스템에서 다른 조치가 필요한지의 여부를 판단해줍니다.
GazeNet DNN의 경우는 운전자의 눈의 방향을 감지하고 전방의 장애물을 볼 수 있는지 확인하기 위해 도로에 매핑하며 시선을 추적합니다. SleepNet DNN은 운전자의 눈이 감기는 정도를 분석하고 상태 기계에서 피로도를 판단하면서 운전자의 졸음 운전을 모니터링하죠. 마지막으로 ActivityNet DNN은 운전자가 핸드폰을 사용하는지, 운전대에 손을 떼지 않았는지, 도로주변 상황에 주의를 기울이는지 등의 활동을 추적합니다. NVIDIA DRIVE IX는 운전자가 운전석에 바른 자세로 앉아 도로 환경에 집중하고 있는지를 감지하기도 합니다.
운전자의 주의력을 판단하는 일 외에도, DNN은 운전자의 감정을 판단하기도 하는데요. 이것은 운전자의 안전한 주행 능력을 보여주는 지표가 되죠. 전체적인 안면 감지와 안면의 기준점 식별 DNN 네트워크로부터 얻은 데이터를 기준으로 DRIVE IX는 운전자의 상태를 기분 좋음, 놀람, 보통, 혐오감, 분노 등으로 분류합니다.
또한 운전자가 눈을 가늘게 뜨거나 소리를 지르는가를 구별할 수 있어서 운전자의 시야나 경각심 정도와 마음 상태를 감지해냅니다.
사용자에게 최적화된 솔루션
NVIDIA DRIVE IX의 운전자 모니터링 기능을 이용하면 차량 콕핏을 개인 취향에 맞게 최적화할 수 있는 최첨단 AI 기반 운전자 인식 기능을 개발할 수 있는데요.
한눈을 파는 운전자에게 경고하도록 차량을 프로그래밍할 수도 있고, 탑승자를 위해 긴장된 분위기를 부드럽게 바꿔주도록 실내 환경을 설정할 수도 있습니다.
NVIDIA DRIVE IX가 제공하는 기능은 단순히 운전자 모니터링에만 머물지 않습니다. 위에서 언급했던 DNN는 제스처 DNN 와 음성 기능과 함께, 자동 음성 인식, 자연어 처리와 음성 합성과 같은 다중 모드 대화형 AI 서비스도 제공합니다.
이러한 DNN 네트워크는 개인별로 최적화된 실내 환경과 가상의 어시스턴트 애플리케이션에 활용됩니다. 뿐만 아니라 전체적인 안면 인식 기능과 안면 키포인트 기능이 AI 기반 화상 회의 플랫폼에도 사용될 수 있습니다.
눈부시게 발전하는 자율주행 기술 속에서 NVIDIA DRIVE IX의 운전자 모니터링 기능은 탑승자가 AI 시스템을 신뢰할 수 있고 더욱 안전하고 즐거운 인텔리전트한 실내 공간을 경험하도록 도와줍니다!