차세대 디지털 휴먼 구현 가속화를 위한 NVIDIA ACE 생성형 AI 마이크로서비스를 정식 출시합니다. 컴퓨텍스(COMPUTEX)에서 발표한 해당 마이크로서비스를 통해 NVIDIA는 ACE 플랫폼에 새로운 혁신적 생성형 AI를 곧 도입할 예정입니다.
고객 서비스, 게임, 헬스케어 분야의 기업들은 ACE 기술을 최초로 도입해, 고객 서비스, 원격 의료, 게임, 엔터테인먼트 분야에 사실적인 디지털 휴먼 제작, 애니메이션화, 운영을 간소화합니다.
현재 출시된 NVIDIA ACE 디지털 휴먼 생성형 AI 기술 제품군은 다음과 같습니다.
- NVIDIA Riva ASR, TTS, NMT: 자동 음성 인식(automatic speech recognition, ASR), 텍스트-음성 변환(text-to-speech, TTS), 번역
- NVIDIA Nemotron LLM: 언어 이해와 상황에 맞는 응답 생성
- NVIDIA Audio2Face: 오디오 트랙을 기반으로 사실적인 얼굴 애니메이션 생성
- NVIDIA Omniverse RTX: 실시간 경로 추적 기술을 통해 사실적인 피부와 헤어 구현
새로 발표된 기술은 다음과 같습니다.
- NVIDIA Audio2Gesture: 오디오 트랙을 기반으로 바디 제스처를 생성하는 기술로, 곧 출시 예정
- NVIDIA NeMotron-3 4.5B: 저지연 온디바이스 RTX AI PC 추론을 위해 특별히 제작된 새로운 소형 언어 모델(SLM)
“디지털 휴먼은 산업에 혁명을 일으킬 것입니다.” NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 이렇게 말하며, “NVIDIA ACE가 개발자 생태계에 멀티모달 거대 언어 모델과 신경 그래픽 혁신을 제공하여 컴퓨터와의 상호 작용이 인간과 상호 작용하는 것처럼 자연스러운, 사용자 목적 중심(intent-driven) 컴퓨팅의 미래를 앞당기고 있습니다”고 말했습니다.
1억대 RTX AI PC에 디지털 휴먼 도입
현재까지 NVIDIA는 개발자들이 데이터센터에서 운영할 수 있도록 ACE를 NIM 마이크로서비스 형태로 제공해왔습니다. 이제 NVIDIA는 1억 대의 RTX AI PC와 노트북에 설치할 수 있는 ACE PC NIM 마이크로서비스를 구축하고 있습니다.
여기에는 NVIDIA 최초의 소형 언어 모델인 NVIDIA Nemotron-3 4.5B가 포함되죠. 이 모델은 클라우드에서 실행되는 거대 언어 모델과 비슷한 정밀도와 정확도로 기기에서 직접 실행될 수 있도록 특별히 제작됐습니다. Nemotron-3 4.5B 소형 언어 모델은 현재 얼리 액세스 단계에 있습니다. NVIDIA Audio2Face 와 NVIDIA Riva ASR 온디바이스 모델도 곧 얼리 액세스로 제공될 예정입니다.
새로운 NVIDIA AI Inference Manager 소프트웨어 개발 키트(software development kit, SDK)는 ACE를 PC에 배포하는 과정을 간소화합니다. 필요한 AI 모델, 엔진, 종속성을 PC에 사전 구성하는 것은 물론, PC와 클라우드 간의 AI 추론을 원활하게 조율하죠.
인월드 AI(Inworld AI)와 공동으로 개발한 코버트 프로토콜(Covert Protocol) 기술 데모의 업데이트 버전이 컴퓨텍스에서 공개됐습니다. 이 데모는 GeForce RTX PC에서 로컬로 실행되는 Audio2Face와 Riva ASR을 사용해 플레이어가 대화형 언어로 NPC(Non-Playable Character, 플레이어가 직접 조정할 수 없는 캐릭터)와 상호 작용하고 영향을 주며 임무를 완수할 수 있도록 합니다.
최신 ACE 기술로 디지털 휴먼 생태계 확장
ACE는 아우(Aww Inc.), 델 테크놀로지스(Dell Technologies), 검션(Gumption), 히포크라틱 AI(Hippocratic AI), 인벤텍(Inventec), 아워팜(OurPalm), 퍼펙트 월드 게임즈(Perfect World Games), 리얼루전(Reallusion), 서비스나우(ServiceNow), 소울보틱스(Soulbotix), 소울쉘(SoulShell), 유니큐(UneeQ) 등과 같은 기업에서 다양한 애플리케이션을 개발하며 큰 반향을 일으키고 있습니다.
일본에 본사를 둔 선구적인 가상 인간 기업 아우는 2018년 첫 번째 가상 셀러브리티(celebrity)인 ‘이마(Imma)’를 출시했습니다. 이마는 이후 50개국 이상에서 주요 글로벌 브랜드의 얼굴이 됐죠. 이제 아우는 실시간 애니메이션에 ACE Audio2Face 마이크로서비스를 활용해 사용자와 고도의 인터랙티브한 커뮤니케이션 경험을 제공할 계획입니다.
게임 개발자이자 퍼블리셔인 퍼펙트 월드 게임즈는 새로운 신화 속 황야 기술 데모인 ‘레전드(Legends)’에 ACE를 도입합니다. 이 사실적인 플레이어는 영어와 중국어로 완전히 상호작용 가능하고, 다국어를 구사하는 AI NPC와 상호작용할 수 있는데요. NVIDIA Audio2Face NIM을 사용하면 캐릭터가 말할 때 그 음성에 반응해 캐릭터 얼굴이 실시간으로 움직여 사실적인 표정을 만들 수 있습니다.
AI에 집중 투자하는 주요 기술 기업인 인벤텍은 NVIDIA Audio2Face NIM을 활용해 VRSTATE 플랫폼 내 헬스케어 AI 에이전트(agent)를 강화하고 있습니다.
이러한 기술 결합으로 AI 에이전트는 더욱 매력적이고 편안한 가상 상담을 제공할 수 있습니다. 컴퓨텍스에서 인벤텍은 환자들이 자신의 건강에 대한 정보를 얻을 수 있도록 도와주는 AI 에이전트를 선보이고 있습니다.
비즈니스 혁신을 위한 AI 플랫폼인 서비스나우는 최근 나우 어시스트 생성형 AI 경험(Now Assist Gen AI Experience)의 생성형 AI 서비스 에이전트 데모에서 ACE NIM을 선보였으며, 디지털 아바타가 소매, 여행 등 여러 산업에서 고객과 직원 간의 상호 작용을 향상시킬 수 있는 가능성을 강조했습니다.
델 테크놀로지스는 지난달 델 테크놀로지스 월드(Dell Technologies World)에서 최첨단 디지털 비서를 위한 생성형 AI 솔루션(Generative AI Solution for Digital Assistants)을 발표했습니다. 이 제품을 통해 기업들은 소매, 헬스케어, 고객 서비스 등의 다양한 산업 분야에서 자연스러운 대화를 통해 고객과 소통하는 지능형 디지털 비서를 활용할 수 있습니다.
NVIDIA, 컴퓨텍스에서 디지털 휴먼 스타트업 축하
NVIDIA 아트 팀들은 텍스트에서 비디오로 생성된 ’디지털 젠슨(digital Jensen)’ 아바타를 제작하기 위해 신디시아(Synthesia)와 아워 원(Hour One) 등 ACE 기반 생성형 AI 도구를 사용했습니다. CEO 젠슨 황의 독특한 목소리와 스타일을 특징으로 한 이 다국어 아바타는 일레븐랩스(ElevenLabs)의 독점 AI 음성 및 목소리 기술을 통해 중국어와 영어로 생성됐죠. 또한 NVIDIA는 AI 음성 기술을 전문으로 하는 NVIDIA 인셉션(Inception) 회원사 보이스모드(Voicemod)와 협력해 CEO 젠슨 황의 기조연설 엔딩 테마곡을 작곡했습니다.
ACE NIM 정식 출시
Riva, Audio2Face 등 서버 구축을 위한 NVIDIA ACE NIM 마이크로서비스가 출시됐으며, 개발자들이 엔터프라이즈급 지원을 받을 수 있도록 NVIDIA AI Enterprise 소프트웨어가 추가됐습니다. RTX AI PC에서 실행되는 ACE NIM 마이크로서비스에 대한 얼리 액세스에 등록하세요.
젠슨 황의 컴퓨텍스 키노트를 통해 최신 ACE 콘텐츠 정보를 확인할 수 있습니다.