올해 미국 로스엔젤레스(LA), 프랑스 파리, 중국 상하이에서 열린 모터쇼에서 존재감을 드러내고 있었던 것은 자동차만이 아니었습니다.
고급 자동차 제조사인 Jaguar는 모터쇼의 대형 벽면 디지털 디스플레이를 통해 참석자들에게 놀라움을 선사했습니다. 디지털 재규어는 마치 살아있는 것처럼 으르렁거리며 사람들의 움직임에 반응했답니다.
Jaguar는 자사의 가장 최신 자동차 모델이 얼마나 반응을 얻을지 보여줄 수 있는 디스플레이를 원했습니다. 이에 글로벌 브랜드 체험 기업인 Imagination과 영국 런던에 위치한 최고급 시각효과 스튜디오인 The Mill과 함께 세계적인 모터쇼에서 선보일 Jaguar 로고의 사실적인 3D 버전을 제작했습니다.
The Mill 팀은 NVIDIA Quadro GPUs를 사용해 재규어를 실시간으로 렌더링 했습니다. 그리고Al 기반 마커리스(markerless) 모션 캡처의 선두주자인 wrnch와 함께 혼합현실(Mixed Reality, MR) 체험에 새로운 차원의 상호작용을 도입해 보는 이들을 놀라게 했죠.
Quadro로 실시간 장면 연출
The Mill 팀의 목표는 사람들이 최대한 자연스럽게 소통할 수 있는 깜짝 놀랄만한 디스플레이를 제작하는 것이었습니다. 그러나 모터쇼는 한 지역에서만 열리는 것이 아니었기 때문에 세계의 여러 지역을 옮겨 다니며 디스플레이를 설치해야 하는 어려움이 있었죠. 또한 스크린들을 연결하는 여러 대의 컴퓨터 없이도 강력한 그래픽 성능을 갖춘 간단한 시스템이 필요했습니다.
차량 모델과 나무, 실제 재규어에 이르기까지 배경에 있는 모든 것이, NVIDIA Quadro GPU가 장착된 하나의 PC에서 언리얼 엔진(unreal engine)을 사용해 실시간으로 렌더링 됐습니다.
The Mill 팀은 Quadro의 NVIDIA Mosaic기능을 활용해 65인치의 4K 디스플레이 3대를 연결하고 작동시켜 필요한 최대의 그래픽 성능을 얻을 수 있었죠.
The Mill의 수석 엔지니어인 마틴 텔웰(Martin Thelwell)은 “상호적 요소를 갖춘 실시간 체험을 작동시키는 것은 어려운 과제였지만, NVIDIA Quadro 카드는 완벽한 실시간 환경을 구축하는데 필요한 안정성과 성능을 제공했습니다. 그래서 우리는 확신을 갖고 실시간 렌더링을 할 수 있었고, 마침내 세련되고 시각적인 장면을 연출할 수 있었죠”라고 말했습니다.
그 다음 단계는 재규어가 관람객들에게 반응하도록 함으로써 재규어와 관람객들 사이의 상호 연결고리를 만드는 것이었는데요. The Mill 팀은 캐나다 몬트리올에 있는 AI 기업인 wrnch과 협력해 실시간 모션과 동작인식을 체험에 추가할 수 있었습니다.
AI와 관객 소통의 미래
재규어가 사람들의 움직임을 인식할 수 있도록 하기 위해, wrnch는 wrnchAI를 사용해 재규어의 시각 피질을 개발했습니다. wrnchAI는 비디오 피드(feed)에서 시청자의 동작을 추출하는 고성능의 딥 러닝 엔진입니다.
디스플레이 스크린에 연결된 웹 카메라가 재규어의 ‘눈’과 같은 기능을 합니다. AI 시스템은 웹 카메라의 비디오 피드를 사용해, 시청자의 이미지를 추출하고 번역해 재규어가 그들의 움직임을 따라갈 수 있도록 했습니다.
AI 제스처 인식은 시청자의 근접성과 위치를 관측할 수 있도록 설계됐기 때문에, 재규어는 어디를 보고 반응해야 하는지 정확히 알 수 있죠.
wrnch는 NVIDIA TensorRT를 사용해 시스템이 두 가지 독창적인 제스처(박수 치기와 팔 올리기)를 비롯해 특정 명령을 학습하도록 교육시켰습니다. 그 결과, 모터쇼 관람객은 디지털 재규어와 양방향으로 소통할 수 있었죠.
동작 인식을 위해 NVIDIA 그래픽이 장착된 두 번째 PC가 사용됐습니다. 시스템은 원활한 디스플레이 작동을 위해 필요한 고성능과 높은 프레임률을 얻을 수 있을 만큼 충분한 마력을 가진 자체 GPU를 보유하고 있었습니다.
wrnch의 CEO 폴 크루제우스키(Paul Kruszewski)는 “이번 모터쇼에서 선보인 재규어 디스플레이는 새로운 혼합현실(Mixed Reality, MR) 체험을 만드는 데 컴퓨터 그래픽과 AI가 어떻게 협력할 수 있는지 보여주는 좋은 사례입니다. 소통형 디지털 캐릭터의 미래죠”라며, “이 사례의 장점은 AI 추론과 렌더링 모두 NVIDIA GPU로 수행됐다는 점입니다. 사람들이AI의 힘과 잠재력을 이해하도록 시각적으로 표현된 아름다운 방법이죠”라고 말했습니다.
아래의 영상을 통해 Jaguar 프로젝트에 대해 더 자세히 알아보세요.
https://www.youtube.com/watch?v=X-BG4B3lRz0&feature=youtu.be