NVIDIA AI 툴은 시각 효과와 애니메이션 스튜디오, 크리에이티브 전문가, 심지어 카메라 애호가들을 위해 딥 러닝을 기반으로 동작 캡처 기능을 제공합니다.
NVIDIA Vid2Vid Cameo를 사용하면 AI를 활용해 전문적인 카메라나 스마트폰으로 찍은 표준 2D 영상으로 얼굴 움직임과 표정을 포착할 수 있습니다. 아바타나 캐릭터 혹은 그림을 실시간으로 애니메이션화 할 수 있죠.
그리고 3D 바디 포즈 추정 소프트웨어를 사용하면 걷기, 춤, 무술 공연처럼 몸 전체의 움직임을 포착할 수 있으며 AI로 가상 캐릭터를 생생하게 살릴 수 있습니다.
3D 제작 경험이 없더라도 이런 툴을 사용하면 스마트폰 상의 화면만으로도 창의적인 프로젝트를 손쉽게 애니메이션화할 수 있습니다. 전문가들은 포즈 추정 기능과 Vid2Vid Cameo 소프트웨어를 함께 사용해 자신의 움직임을 가상 캐릭터로 전송하여 라이브 스트림이나 애니메이션 프로젝트를 완성할 수 있습니다.
그리고 크리에이티브 스튜디오는 컨셉 디자인이나 미리 보기를 위해 AI로 구동되는 동작 캡처를 활용해 특정 움직임이 디지털 캐릭터에 보이는 방식에 대해 아이디어를 신속하게 전달할 수 있죠.
NVIDIA, Vid2Vid Cameo로 동작 캡처 시연
NVIDIA AI Playground에서 데모를 통해 제공되는 NVIDIA Vid2Vid Cameo로 토킹헤드(talking-head) 영상을 만드는 데는 두 가지 요소만 있으면 됩니다. 하나는 애니메이션으로 만들 아바타나 그림의 정지 이미지, 또 하나는 원래 행위자가 말하거나 노래하거나 머리를 움직이는 장면입니다.
생성적 적대 신경망(GAN)를 기반으로 이 AI모델은 얼굴 움직임을 매핑하여 실시간으로 움직임을 포착해 이것을 가상 캐릭터로 전달합니다. 18만 개의 영상으로 훈련을 받은 GAN은 얼굴 움직임을 모델링하기 위해 눈, 입, 코, 눈썹 등의 각각의 위치를 인코딩하면서 얼굴의 20개의 핵심 포인트를 식별하는 것을 학습합니다.
이런 포인트는 행위자의 비디오 스트림으로부터 추출되어 아바타나 디지털 캐릭터에 적용됩니다. 아래 데모를 시청하면서 작동원리를 확인해보세요. 애드거 앨런 포의 시 “소네트에서 과학(Sonnet to Science)”가 아티스트 개리 켈리(Gary Kelley)가 그린 애드거 앨런 포 작가의 초상화로 변주되는 것을 볼 수 있습니다.
Vid2Vid Cameo, NVIDIA의 포즈 추정 기능을 통합한 시각적 플랫폼
Vid2Vid Cameo가 세부적인 얼굴 표정을 포착한다면, 포즈 추정 AI는 복잡하게 움직이거나 디지털 장면상에서 이동하는 가상 캐릭터를 가지고 작업하는 크리에이터들에게 아주 중요한 기능인 몸 전체의 움직임을 추적합니다.
포즈 추적기(Pose Tracker)는 NVIDIA Omniverse 3D 디자인 협업과 월드 시뮬레이션 플랫폼에서 확장 기능(Extention)으로 사용할 수 있는 컨볼루션 신경망 모델입니다. 사용자가 장면을 업로드하거나 실시간 영상을 모션 소스로 스트리밍하여 캐릭터를 실시간으로 애니메이션화할 수 있게 합니다. NVIDIA Omniverse를 무료로 다운로드할 수 있으며, 단계별 튜토리얼로 시작해 볼 수 있습니다.
움직임 캡처를 위해 자사의 제품에 NVIDIA AI를 통합한 기업은 다음과 같습니다.
- 디리버티브(Derivative)는 노드 기반 실시간 시각 개발 플랫폼인 터치디자이너(TouchDesigner)의 제조업체로, 사용하기 쉬운 얼굴 추적 기능을 제공하기 위해 Vid2Vid Cameo를 도입했습니다.
- 노치(Notch)는 3D와 시각 효과와 실시간 이벤트 시각화를 위한 실시간 그래픽 도구를 제공하는 기업으로, 아티스트들이 무대 설정을 간단하게 하는 걸 돕기 위해 NVIDIA의 바디 포즈 추정 AI를 사용합니다. 노치 사용자는 맞춤형 하드웨어 추적 시스템에 의존하는 대신 표준 카메라 장비로 3D 캐릭터 애니메이션을 실시간으로 제어할 수 있습니다.
- 픽소토페(Pixotope)는 대표적인 가상 제작사로, NVIDIA AI를 활용한 실시간 인재 추적을 통해 라이브 제작의 인터랙티브한 요소를 구현합니다. 노르웨이에 본사를 둔 픽소토페는 최근 NVIDIA GTC에서 실제 요소와 가상 요소 간에 상호 작용하는 작업을 공유한 바 있습니다.
세계 최대의 컴퓨터 그래픽 컨퍼런스 시그라프(SIGGRAPH) 2022에서 AI, 디지털 휴먼, 가상 세계 분야에서 NVIDIA가 이룬 최근 발전에 대해 자세히 확인해보세요.