편집자 주: 본 포스팅은 RTX PC 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구, 가속화를 보여주는 동시에 기술의 접근성을 높여 AI를 쉽게 이해하도록 돕기 위해 작성된 NVIDIA의 AI Decoded 시리즈의 일부입니다.
디지털 캐릭터의 수준이 점점 진화하고 있습니다.
NPC는 비디오 게임 스토리텔링에서 중요한 역할을 하는 경우가 많지만 일반적으로 정해진 목적을 위해 설계되었기 때문에 반복적이고 지루할 수 있습니다. 특히 수천 명이 모인 방대한 세계에서는 더욱 그렇습니다.
레이 트레이싱(ray tracing)과 DLSS와 같은 비주얼 컴퓨팅의 놀라운 발전 덕분에 비디오 게임은 그 어느 때보다 몰입감 있고 사실적이어서, NPC와의 건조한 만남과 대화는 오히려 어색하게 느껴집니다.
올해 초 NVIDIA Avatar Cloud Engine용 프로덕션 마이크로 서비스가 출시되면서 게임 개발자와 디지털 크리에이터는 실제와 같은 NPC를 만들 수 있는 비장의 무기를 갖추게 되었습니다. ACE 마이크로 서비스를 통해 개발자는 최첨단 생성형 AI 모델을 게임 및 애플리케이션의 디지털 아바타에 통합할 수 있습니다. ACE 마이크로 서비스를 통해 NPC는 게임 내에서 실시간으로 플레이어와 동적으로 상호 작용하고 대화할 수 있습니다.
최고의 게임 개발자, 스튜디오 및 스타트업 회사들은 이미 ACE를 게임 타이틀에 통합하여 NPC와 디지털 휴먼에게 새로운 수준의 성격과 몰입도를 부여하고 있습니다.
아바타에 생명을 불어넣는 NVIDIA ACE
NPC를 만드는 과정은 배경 스토리와 목적을 제공하는 것으로 시작되며, 내러티브(전체적인 스토리)를 안내하고 상황에 맞는 적절한 대화를 하도록 합니다. 그런 다음, ACE 하위 구성 요소가 함께 작동하여 아바타 상호 작용을 구축하고 반응성을 향상합니다.
NPC는 최대 4개의 AI 모델을 활용하여 대화를 듣고, 처리하고, 생성하고, 응답합니다.
먼저 플레이어의 목소리가 NVIDIA Riva 기술로 들어갑니다. 이 기술은 완전히 맞춤화할 수 있는 실시간 대화형 AI 파이프라인을 구축하고, GPU 가속 다국어 음성 및 번역 마이크로 서비스를 사용하여 챗봇을 매력적이고 표현력 있는 어시스턴트로 바꿔줍니다.
Riva의 ASR(자동 음성 인식) 기능은 ACE를 통해 발화된 내용을 처리하고 AI를 사용하여 실시간으로 매우 정확한 전사를 제공합니다. 12개 언어로 제공되는 Riva 기반 음성-텍스트 변환 데모를 살펴보시기 바랍니다.
그런 다음, 전사가 Google의 Gemma, Meta의 Llama 2 또는 Misral과 같은 LLM으로 이동하고 Riva의 뉴럴 네트워크 기계 번역을 활용하여 자연어 텍스트 응답을 생성합니다. 그 다음, Riva의 텍스트-음성 변환 기능이 오디오 응답을 생성합니다.
마지막으로, A2F(NVIDIA Audio2Face)는 다양한 언어의 대화에 동기화할 수 있는 얼굴 표정을 생성합니다. 디지털 아바타는 마이크로 서비스를 통해 라이브 스트리밍되거나 후처리 중에 베이킹된 역동적이고 사실적인 감정을 표현할 수 있습니다.
AI 네트워크는 선택한 감정 범위와 강도 수준에 맞게 얼굴, 눈, 입, 혀 및 머리의 움직임을 자동으로 애니메이션화합니다. 그리고 A2F는 오디오 클립에서 감정을 직접 자동으로 유추할 수 있습니다.
각 단계는 플레이어와 캐릭터 간의 원활한 대화를 보장하기 위해 실시간으로 수행됩니다. 또한, 도구를 맞춤화할 수 있어 개발자가 몰입감 있는 스토리텔링 또는 세계관 구축에 필요한 유형의 캐릭터를 유연하게 구축할 수 있습니다.
타고난 특성
개발자와 플랫폼 파트너는 GDC 및 GTC에서 게이밍의 인터랙티브 NPC부터 강력한 디지털 휴먼 간호사에 이르기까지, NVIDIA ACE 마이크로 서비스를 활용하는 데모를 선보였습니다.
Ubisoft는 역동적인 NPC를 통한 새로운 유형의 인터랙티브 게임 플레이를 모색하고 있습니다. 최신 연구 및 개발 프로젝트의 산물인 NEO NPC는 플레이어, 환경 및 다른 캐릭터와 실시간으로 상호 작용하도록 설계되어 역동적이고 새로운 스토리텔링에 새로운 가능성을 열어줍니다.
데모를 통해 NEO NPC의 기능을 선보였으며, 각각은 환경 및 상황 인식을 포함한 NPC 행동의 다양한 측면에 중점을 두었습니다. 여기에는 실시간 반응 및 애니메이션, 대화 메모리, 협업 및 전략적 의사 결정이 포함됩니다. 이 데모는 게임 디자인과 몰입감의 경계를 넓힐 수 있는 이 기술의 잠재력을 집중 조명했습니다.
Ubisoft의 내러티브 팀은 Inworld AI 기술을 사용하여 각각 고유한 배경 스토리, 기술 자료 및 고유한 대화 스타일을 가진 두 개의 NEO NPC, Bloom 및 Iron을 만들었습니다. 또한 Inworld 기술은 NEO NPC에게 주변 환경에 대한 본질적인 지식은 물론 Inworld의 LLM을 기반으로 하는 인터랙티브 응답도 제공했습니다. NVIDIA A2F는 실시간으로 두 NPC의 얼굴 애니메이션과 립싱크를 구현했습니다.
Inworld와 NVIDIA는 NVIDIA ACE 기술과 Inworld Engine을 선보인 Covert Protocol이라는 새로운 기술 데모로 GDC를 화제의 중심으로 만들었습니다. 데모에서 플레이어는 현장에 있는 NPC와의 대화 결과를 기반으로 목표를 완수하는 사립 탐정을 조종했습니다. Covert Protocol은 중요한 정보의 전달자 역할을 하고, 도전 과제를 제시하고, 주요 내러티브 개발을 촉진하는 AI 기반 디지털 캐릭터를 통해 소셜 시뮬레이션 게임 메커니즘을 실현했습니다. 이 향상된 수준의 AI 기반 상호 작용 및 플레이어 에이전시는 새로운 플레이어별 게임플레이에 새로운 가능성을 열어줄 것입니다.
Unreal Engine 5를 기반으로 구축된 Covert Protocol은 NVIDIA Riva ASR 및 A2F를 포함한 Inworld Engine 및 NVIDIA ACE를 사용하여 Inworld의 음성 및 애니메이션 파이프라인을 강화합니다.
CES에서 선보인 Convai와의 협업을 통해 구축된 최신 버전의 NVIDIA Kairos 기술 데모에서는 Riva ASR 및 A2F가 NPC 상호 작용을 크게 향상시키는 데 사용되었습니다. Convai의 새로운 프레임워크를 통해 NPC들이 서로 대화하고 아이템을 인식하여 아이템을 원하는 지역으로 전달할 수 있었습니다. 게다가 NPC는 플레이어를 목표 지점으로 이끌고 세계를 횡단할 수 있는 능력을 얻었습니다.
실제 세계의 디지털 캐릭터
NPC를 만드는 데 사용되는 기술은 아바타와 디지털 휴먼을 애니메이션화하는 데에도 사용되고 있습니다. 작업별 생성형 AI는 게이밍을 넘어 헬스케어, 고객 서비스 등으로 확장하고 있습니다.
NVIDIA는 GTC에서 Hippocratic AI와 협력하여 헬스케어 에이전트 솔루션을 확장하여 생성형 AI 헬스케어 에이전트 아바타의 잠재력을 선보였습니다. 실시간 활용 사례를 지원하기 위해 지연 시간이 매우 짧은 추론 플랫폼을 개발하기 위한 추가 작업이 진행 중입니다.
Hippocratic AI의 공동 창립자 겸 CEO인 Munjal Shah는 다음과 같이 말했습니다. “NVIDIA의 디지털 어시스턴트는 전 세계의 환자에게 유용하며, 시기적절하고 정확한 정보를 제공합니다. NVIDIA ACE 기술은 최첨단 시각 효과와 사실적인 애니메이션으로 환자에게 생명을 불어넣어 환자와 더 잘 연결될 수 있습니다.”
Hippocratic의 초기 AI 헬스케어 에이전트의 내부 테스트는 만성 질환 관리, 웰니스 코칭, 건강 위해성 평가, 건강 설문 조사의 사회적 결정 요인, 수술 전 봉사 활동 및 퇴원 후 후속 조치에 중점을 두고 있습니다.
UneeQ는 고객 서비스 및 인터랙티브 애플리케이션을 위한 AI 기반 아바타에 중점을 둔 자동 디지털 휴먼 플랫폼입니다. UneeQ는 NVIDIA A2F 마이크로 서비스를 자사의 플랫폼에 통합하고 이를 Synanim ML 합성 애니메이션 기술과 결합하여 향상된 고객 경험과 참여를 위해 매우 사실적인 아바타를 제작했습니다.
UneeQ의 창립자 겸 CEO인 Danny Tomsett은 다음과 같이 말했습니다. “UneeQ는 NVIDIA 애니메이션 AI와 Synanim ML 합성 애니메이션 기술을 결합하여 감정적으로 반응하는 실시간 디지털 휴먼 인터랙션과 대화형 AI 기반의 역동적인 경험을 제공합니다.”
게이밍에서의 AI
ACE는 게임을 한 단계 업그레이드하는 수많은 NVIDIA AI 기술 중 하나입니다.
- NVIDIA DLSS는 AI를 사용하여 GeForce RTX GPU에서 프레임 레이트를 높이고 이미지 품질을 개선하는 획기적인 그래픽 기술입니다.
- NVIDIA RTX Remix를 사용하면 모더가 게임 자산을 쉽게 캡처하고, 강력한 AI 도구로 게임 메테리얼들을 자동으로 향상시키며, 풀 레이 트레이싱 및 DLSS를 통해 멋진 RTX 리마스터 버전을 빠르게 제작할 수 있습니다.
- 새로운 NVIDIA app 베타판을 통해 액세스되는 NVIDIA Freestyle을 통해 사용자는 RTX HDR, RTX Dynamic Vibrance 등의 기능을 갖춘 실시간 후처리 필터를 통해 1,200개 이상의 게임의 시각적 미학을 개인화할 수 있습니다.
- NVIDIA Broadcast 앱은 라이브 스트림에서 노이즈 및 에코 제거, 가상 배경 및 AI 그린 스크린, 자동 프레임, 영상 노이즈 제거, 아이 콘택트 등의 AI 향상 음성 및 영상 도구를 통해 어디든 홈 스튜디오로 바꾸어 줍니다.
NVIDIA RTX PC 및 워크스테이션으로 최고의 최신 AI 기반 환경을 경험하고, AI Decoded를 통해 새로운 기능과 다음 단계에 대해 알아보세요.
AI Decoded 뉴스레터를 구독하고 매주 최신 소식을 이메일로 받아보세요.