NVIDIA Omniverse ACE로 ‘AI 아바타’ 구축하기

NVIDIA Omniverse Avatar Cloud Engine(ACE)의 얼리 액세스 프로그램 등록이 시작됐습니다. ACE는 지능형 가상 비서와 디지털 휴먼을 규모에 따라 쉽게 구축하고 배치할 수 있는 클라우드 네이티브(cloud-native) AI 마이크로 서비스 제품군입니다.

Omniverse ACE는 아바타 개발을 편리하게 해줍니다. 또한 사실상 모든 엔진에 구축되고 모든 클라우드에 배치되는 아바타에 지능과 애니메이션을 추가할 때 필요한 AI 구성 요소를 제공하죠. 이와 같은 AI 비서는 산업 전반에 걸쳐 조직을 위해 설계될 수 있습니다. 따라서 조직은 기존 워크플로우를 개선하고 새로운 비즈니스 기회를 창출할 수 있습니다.

ACE는 크리에이터가 3D 세계와 메타버스의 개발을 가속화하는 데 도움을 주는 생성형 AI 애플리케이션 중 하나입니다. 프로그램에 참여하는 회원은 대화형 아바타 애플리케이션을 위한 클라우드 네이티브 AI 워크플로우 개발에 필요한 툴링(tooling)과 문서, NVIDIA AI 마이크로서비스의 사전 릴리스 버전에 액세스할 수 있습니다.

Omniverse ACE로 대화형 AI 아바타 구현

아바타 개발 시 전문 지식과 특수 장비, 많은 수작업이 요구되는 워크플로우가 필요한 경우가 많죠. Omniverse ACE를 사용하면 NVIDIA의 AI 기술을 사용해 쉽게 아바타를 만들 수 있습니다. 즉, 사전 구축된 모델과 도구 세트, 도메인별 참조 애플리케이션을 비롯한 NVIDIA AI 기술을 공용 또는 개인 클라우드에 배포하고, 대부분의 엔진에 구축되는 아바타 애플리케이션에 원활하게 통합할 수 있습니다.

Omniverse ACE는 지난 9월에 처음 공개된 이후 얼리 피드백을 위해 엄선된 파트너들에게 공유됐습니다. 현재 NVIDIA는 마이크로서비스에 대한 피드백 제공을 비롯해 제품 개선을 위해 협력하고, 실제와 같은 대화형 디지털 휴먼으로 가능한 것의 한계를 극복할 수 있는 파트너를 물색하고 있습니다.

얼리 액세스 프로그램에는 ACE 애니메이션 AI와 대화형 AI 마이크로서비스의 사전 릴리스 버전에 대한 액세스가 포함됩니다.

타사 아바타용 3D 애니메이션 AI 마이크로서비스는 Omniverse Audio2Face 생성형 AI를 이용해 오디오 파일만으로 사실적인 얼굴 애니메이션을 만들 수 있습니다. 이를 통해 언리얼 엔진(Unreal Engine)을 비롯해 기타 렌더링 도구에서 캐릭터에 생명을 불어넣습니다.
라이브 초상화(Live Portrait)라고도 불리는 2D 애니메이션 AI 마이크로서비스는 라이브 비디오 피드를 사용해 양식화된 인간의 얼굴이나 2D 초상화를 쉽게 애니메이션화 할 수 있습니다.
텍스트 음성 변환 마이크로서비스는 NVIDIA Riva TTS를 사용해 음성 패턴이나 리듬과 같은 추가 정보 없이도 처음 스크립트에서 자연스러운 음성을 합성합니다.

또한 프로그램 회원은 툴링과 샘플 참조 애플리케이션, 지원 리소스에 대한 액세스 권한을 보유해 시작 시 도움을 받을 수 있습니다.

업계에서 두각을 나타내는 아바타

Omniverse ACE는 산업 전반에 걸쳐 경험을 향상시키는 대화형 디지털 휴먼을 구축할 수 있도록 도와줍니다. ACE에 포함된 기능은 아래와 같습니다:

최소한의 전문 지식만으로도 캐릭터에 생명을 불어넣을 수 있는 쉬운 캐릭터 애니메이션
클라우드에 배포할 수 있는 기능으로 퀵서비스(quick-service) 레스토랑 키오스크, 태블릿, 가상현실(VR) 헤드셋 등 어디에서나 아바타 사용 가능
NVIDIA UCF(Unified Compute Framework)를 기반으로 구축된 플러그-앤-플레이(plug-and-play) 제품군은 NVIDIA AI와 다른 솔루션의 상호 운용성을 지원해 각 사용 사례에 적합한 최첨단 AI 보장

레디 플레이어 미(Ready Player Me)와 에픽 게임즈(Epic Games) 등의 파트너들은 Omniverse ACE가 AI 아바타의 워크플로우를 어떻게 향상시킬 수 있는지 이미 경험했습니다.

Omniverse ACE 애니메이션 AI 마이크로 서비스는 크로스 게임 아바타 구축 플랫폼인 레디 플레이어 미의 3D 캐릭터를 지원합니다.

레디 플레이어 미의 CEO 겸 공동설립자 팀무 토케(Timmu Tõke)는 “디지털 아바타는 우리 일상의 중요한 부분이 되고 있습니다. 사람들은 게임, 가상 이벤트, 소셜 앱, 심지어 메타버스에 진입하기 위해 아바타를 사용하고 있습니다. 우리는 개발자들이 앱과 게임에 쉽게 통합하고 사용자들이 하나의 아바타를 만들어 다양한 세계를 탐험할 수 있도록 하는 완벽한 아바타 시스템을 구축하는 데 7년의 시간을 소요했습니다. NVIDIA Omniverse ACE를 사용하면 이제 캐릭터에 보다 쉽게 생명을 불어넣을 수 있을 것”이라고 말했죠.

에픽 게임즈의 진보된 메타휴먼(MetaHuman) 기술은 현실적이고 높은 정확도를 갖춘 디지털 휴먼 창조의 패러다임을 변화시켰습니다. Omniverse ACE는 메타휴먼 프레임워크에 결합돼 사용자가 매력적인 3D 아바타를 설계·배치하는 것을 더욱 쉽게 만들어줍니다.

디지털 휴먼이 대화만 해야 한다는 것은 편견입니다. AI 아바타 Toy Jensen처럼 가수가 될 수도 있죠. NVIDIA의 크리에이티브 팀은 Omniverse ACE로 가수의 목소리를 추출해 Toy Jensen의 목소리로 변환해 신속하게 Toy Jensen의 홀리데이 공연을 제작했습니다. 이 때 아바타가 원래의 아티스트와 같은 음높이와 같은 리듬으로 노래할 수 있도록 했죠.

많은 크리에이터들이 브이튜빙(VTuving)에 도전하고 있습니다. 브이튜빙은 라이브 스트리밍의 새로운 방법으로, 사용자는 2D 아바타를 구현하고 시청자와 상호 작용할 수 있는데요. 크리에이터들은 Omniverse ACE를 통해 사진과 스타일리시한 얼굴을 포함한 2D 애니메이션에서 3D로 아바타를 이동할 수 있습니다. 한편 사용자는 클라우드에서 아바타를 렌더링하고 어디서든 캐릭터를 애니메이션화할 수 있습니다.

또한 NVIDIA Tokkio 레퍼런스 애플리케이션이 확장되고 있습니다. 초기 파트너들은 통신, 은행 등의 업계를 위한 클라우드 네이티브 고객 서비스 아바타를 구축하고 있습니다.