NVIDIA의 AI 기반 아바타인 Toy Jensen(TJ)이 부르는 징글 벨 공연 영상으로 연말 인사를 보냅니다!
NVIDIA Omniverse Avatar Cloud Engine(ACE)으로 만든 TJ
NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 AI 기반 아바타인 TJ의 도움을 받아 유쾌한 연말 테마 공연을 선보였습니다. NVIDIA의 크리에이티브 팀은 NVIDIA Omniverse Avatar Cloud Engine 플랫폼의 핵심 기술을 보여주는 기술 데모인 TJ의 연말 공연을 신속하게 개발했습니다.
Omniverse ACE는 개발자가 멋진 대화형 아바타를 쉽게 구축, 사용자 지정, 배포할 수 있는 클라우드 네이티브 AI 마이크로서비스와 워크플로우의 모음입니다. 현재의 아바타 개발은 전문 지식과 장비, 수작업 집약적인 워크플로우가 필요한데요. 이와 달리 Omniverse ACE는 Omniverse 플랫폼 및 NVIDIA의 UCF(Unified Compute Framework)를 기반으로 구축되어, 최소한의 코딩으로 AI 파이프라인을 빠르게 생성하고 구성할 수 있습니다.
NVIDIA의 기술 프로그램 매니저인 사이러스 호그(Cyrus Hogg)는 “Omniverse ACE는 정말 놀라운 기술이며, 우리가 이를 구현했다는 것이 믿을 수 없습니다”고 말했죠.
Omniverse ACE 기술을 실현하기 위해 NVIDIA 팀은 최근에 개발된 음성 변환 모델을 사용해 전문 가수의 샘플에서 음성을 추출하고 이를 TJ의 음성으로 변환했습니다. 원래 TJ의 목소리는 실제 녹음을 바탕으로 수 시간 동안 훈련시켜 개발됐는데요. 이번에는 샘플의 음정을 사용해 TJ의 디지털 음성에 적용해, 아바타가 원래 가수와 동일한 음정과 리듬으로 노래하도록 했습니다.
NVIDIA Omniverse 생성 AI로 사실적인 얼굴 표정과 신체 움직임 구현
NVIDIA 팀은 그 다음의 과정으로 Omniverse Audio2Face, Audio2Gesture 기술과 함께 NVIDIA Omniverse ACE를 사용해 TJ의 오디오만을 기반으로 애니메이션 공연을 위한 사실적인 얼굴 표정과 신체 움직임을 생성했습니다.
Omniverse ACE 기술팀은 이번 공연에서 선보인 기술을 개발하고 미세 조정하는 데 수 년을 보냈지만, 이들이 만든 음악 트랙을 세련된 영상으로 바꾸는 데는 단 몇 시간밖에 걸리지 않았죠.
팬들을 즐겁게 한 TJ의 ‘징글벨’ 공연
NVIDIA 팀은 이 놀라운 공연을 준비할 시간이 충분했고, 심지어 마이클 부블레(Michael Bublé), 데이빗 포스터(David Foster)와 함께 작업한 작곡가 겸 프로듀서인 요헴 반 데르 사그(Jochem van der Saag)와 협력해 TJ가 부를 수 있는 완벽한 MR도 만들었습니다.
호그는 “우리는 반 데르 사그에 작곡을 요청했고, 그는 편곡도 맡을 예정입니다. 이는 팀에 정말 큰 도움이 됐고, 우리는 그가 합류하게 되어 정말 기쁩니다”고 말했습니다.
ACE로 가상 경험 혁신
그 결과, NVIDIA Omniverse ACE와 가상 이벤트, 온라인 교육, 고객 서비스, 비디오 게임, 소셜 미디어, 가상 현실 경험을 위한 맞춤형 아바타 제작 등 다양한 산업 분야에서 사용할 수 있는 애플리케이션을 위한 완벽한 쇼케이스가 탄생했습니다. NVIDIA Omniverse ACE는 곧 얼리 액세스로 파트너에게 제공될 예정입니다.
젠슨 황은 대만 타이페이의 한 광장에서 온라인으로 공연을 스트리밍하는 듀오 가수인 라 일레 리(Lah Yileh Lee)와 신팅 리(Xinting Lee)의 공연을 우연히 마주친 적이 있습니다. 젠슨 황은 이들의 레이디 가가의 “Always Remember Us This Way” 녹음을 응원했으며, 이 영상은 젠슨 황이 요청했던 노래인 레이디 가가의 “Hold My Hand”를 부른 후속 영상과 함께 높은 조회수를 얻었습니다.