NVIDIA가 다양한 산업 분야의 선도적인 AI 애플리케이션 개발자들에게 NVIDIA 디지털 휴먼 기술을 지원합니다. 이를 통해 개발자들은 상용 애플리케이션과 역동적인 게임 캐릭터를 위한 사실적인 아바타를 제작할 수 있습니다.
이와 관련된 결과물은 미국 캘리포니아주 새너제이에서 개최된 글로벌 AI 콘퍼런스인 GTC에서 전시되며, 히포크라틱 AI(Hippocratic AI), 인월드 AI(Inworld AI), 유니큐(UneeQ) 등의 기술 시연을 통해 만나볼 수 있습니다.
음성과 애니메이션용 NVIDIA ACE, 언어용 NVIDIA NeMo, 레이 트레이싱 렌더링용 NVIDIA RTX는 개발자가 AI 기반의 자연어 상호작용이 가능한 디지털 휴먼을 제작해 보다 사실적이고 매력적인 대화를 나눌 수 있도록 하는 빌딩 블록입니다.
NVIDIA의 개발자와 성능 기술 부문 부사장인 존 스피처(John Spitzer)는 다음과 같이 말했습니다. “NVIDIA는 개발자들에게 디지털 휴먼 제작을 위한 세계 최고 수준의 AI 기반 기술 세트를 제공합니다. 이러한 기술로 디지털 상호 작용을 현실감 있게 만드는 데 필요한 복잡한 애니메이션과 대화형 음성을 구동할 수 있습니다.”
세계 최고 수준의 디지털 휴먼 기술
디지털 휴먼 기술 제품군에는 AI 기반 언어, 음성, 애니메이션, 그래픽이 포함됩니다.
- NVIDIA ACE – 개발자가 NVIDIA Audio2Face 기반의 얼굴 애니메이션과 NVIDIA Riva 자동 음성 인식(ASR)과 텍스트 음성 변환(TTS) 기반의 음성으로 디지털 휴먼에 생명을 불어넣을 수 있도록 지원하는 기술입니다. ACE 마이크로서비스는 로컬 GPU 성능에 따라 모델을 클라우드와 PC에서 유연하게 실행할 수 있어 사용자에게 최상의 경험을 제공합니다.
- NVIDIA NeMo —정밀한 데이터 큐레이션, 최첨단 커스터마이징, 검색 증강 생성(RAG)과 가속화된 성능을 통해 개발자가 엔터프라이즈급 생성형 AI 모델을 제공할 수 있는 엔드 투 엔드 플랫폼입니다.
- NVIDIA RTX —게임과 애플리케이션에서 실시간 경로 추적을 지원하는 RTX 글로벌 일루미네이션(RTXGI), DLSS 3.5와 같은 렌더링 기술 모음입니다.
디지털 휴먼과 가상 비서를 위한 빌딩 블록
NVIDIA는 디지털 휴먼 기술의 새로운 기능을 선보이기 위해 히포크라틱 AI, 인월드 AI, 유니큐 등 업계 최고의 개발사들과 협력해 새로운 데모를 연이어 선보였는데요.
히포크라틱 AI는 안전에 중점을 둔 거대 언어 모델(LLM) 기반의 업무별 헬스케어 에이전트를 개발했습니다. 이 에이전트는 환자와 전화 통화, 진료 조정 업무, 수술 전 지침 전달, 퇴원 후 관리 등을 수행하죠. NVIDIA는 GTC에서 히포크라틱 AI와 협력을 통해 NVIDIA ACE 마이크로서비스, NVIDIA Audio2Face, NVIDIA Animation 그래프, NVIDIA Omniverse Streamer Client를 사용할 수 있도록 솔루션을 확장해 생성형 AI 의료 에이전트 아바타의 가능성을 보여줬습니다.
히포크라틱 AI의 공동 창립자 겸 CEO 문잘 샤(Munjal Shah)는 “히포크라틱 AI의 디지털 비서는 전 세계 환자들에게 유용하고 시의적절하며 정확한 정보를 제공합니다. NVIDIA ACE 기술은 최첨단 비주얼과 사실적인 애니메이션을 통해 환자와 더 잘 소통할 수 있도록 돕습니다”고 말했죠.
유니큐는 고객 서비스와 인터랙티브 애플리케이션을 위한 AI 기반 아바타 제작에 특화된 자율 디지털 휴먼 플랫폼입니다. 이 회사의 디지털 휴먼은 온라인에서 브랜드를 대변하며 고객과 실시간으로 소통해 구매에 대한 확신을 심어줍니다. 유니큐는 NVIDIA Audio2Face 마이크로서비스를 자사 플랫폼에 통합하고 이를 시나님 ML(Synanim ML)과 결합해 고객 경험과 참여도를 높이기 위한 매우 사실적인 아바타를 제작했습니다.
유니큐의 창립자 겸 CEO 대니 톰셋(Danny Tomsett)은 “유니큐는 NVIDIA Animation AI와 자체 시나님 ML 합성 애니메이션 기술을 결합해 감정을 가지고 반응하는 실시간 디지털 인간 상호작용을 제공하고, 대화형 AI를 기반으로 역동적인 경험을 선사합니다”고 말했습니다.
게임에 역동적인 논플레이어 캐릭터 구현하기
NVIDIA ACE는 게임 캐릭터에 생동감을 불어넣기 위해 설계된 기술 모음입니다. 인월드 AI가 NVIDIA와 협력해 만든 새로운 기술 데모인 코버트 프로토콜(Covert Protocol)은 게임 내 캐릭터 상호 작용의 한계를 뛰어넘었죠. 인월드의 AI 엔진은 정확한 음성 텍스트 변환을 위한 NVIDIA Riva와 사실적인 얼굴 연기를 제공하는 NVIDIA Audio2Face를 통합했습니다.
인월드의 AI 엔진은 논플레이어 캐릭터(NPC)의 성능에 멀티모달 방식을 도입하여 인지, 인식과 행동 시스템을 통합합니다. 이를 통해 아름답게 제작된 환경을 배경으로 놀라운 RTX 렌더링 캐릭터와 함께 몰입형 내러티브를 구현합니다.
인월드 AI의 CEO 카일란 깁스(Kylan Gibbs)는 “NVIDIA ACE 마이크로서비스와 인월드 엔진의 결합으로 개발자는 역동적인 내러티브를 이끌어갈 수 있는 디지털 캐릭터를 제작할 수 있게 됐습니다. 또한 게이머가 해독, 추론, 플레이하는 방식에 새로운 가능성을 열었죠”라고 말했습니다.
전 세계 주요 게임 퍼블리셔들이 NVIDIA ACE가 게임 경험을 어떻게 개선할 수 있는지 평가하고 있습니다.
ACE를 도입하는 의료, 게임, 금융 서비스, 미디어 및 엔터테인먼트, 소매 분야 개발사
최고의 게임과 디지털 휴먼 개발사들은 게임과 애플리케이션에서 플레이어와 NPC 간의 상호작용을 혁신하기 위해 ACE와 생성형 AI 기술을 선도적으로 사용하고 있습니다.
ACE를 도입한 개발사와 플랫폼으로는 아래가 있습니다.
컨베이(Convai), 사이버에이전트(Cyber Agent), 데이터몬스터즈(Data Monsters), 딜로이트(Deloitte), 히포크라틱AI, IGOODI, 인월드 AI, 미디어몽크스(Media.Monks), 미호요(miHoYo), 넷이즈 게임즈(NetEase Games), 퍼펙트월드(Perfect World), 오픈스트림(Openstream), 아워팜(OurPalm), 퀀티파이(Quantiphi), 라쿠텐증권(Rakuten Securities), 슬라럼(Slalom), 소프트서브(SoftServe), 텐센트(Tencent), 탑헬스테크(Top Health Tech), 유비소프트(Ubisoft), 유니큐, 유니온아바타(Unions Avatars)
여기에서 NVIDIA ACE에 대한 자세한 내용을 확인해보세요. 플랫폼 개발자는 디지털 휴먼 기술 전체 제품군 또는 개별 마이크로 서비스를 제품에 통합할 수 있습니다.
개발자는 개발 중인 AI 모델을 사용할 수 있는 얼리 액세스 프로그램을 신청해 NVIDIA ACE에서 여정을 시작해보세요.
사용 가능한 모델을 살펴보려는 개발자는 여기에서 생성형 AI의 배포를 가속화하도록 설계된 사용하기 쉬운 마이크로서비스 모음인 Riva와 Audio2Face, NVIDIA NIM을 사용하고 평가할 수 있습니다.