최첨단 대화형 AI 서비스 구축 돕는 Riva 발표한 엔비디아

GPU 가속 애플리케이션 프레임워크인 NVIDIA Riva는 기업들이 영상 및 음성 데이터를 활용해 자사 제품과 고객, 그리고 산업에 최적화된 최첨단 대화형 인공지능(AI) 서비스를 구축하도록 돕는 것이 특징입니다.

재택근무, 원격진료, 원격수업이 늘어나면서 고객지원부터 실시간 기록, 화상통화에 이르는 맞춤형 언어 기반 AI 서비스에 대한 수요가 급증하고 있으며, 이를 통해 사람들의 생산성과 연결성이 유지되고 있습니다.

Riva 기반의 대화형 AI 제품 및 서비스를 최초로 활용하고 있는 기업들로는 AI 기반의 콜센터 솔루션을 제공하는 보카(Voca), 금융 분야 AI 기술 기업 켄쇼(Kensho), 일정 관리를 위한 가상 어시스턴트 스퀘어(Square)가 있습니다.

젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 “대화형 AI는 애플리케이션이 뉘앙스와 상황을 이해하고 커뮤니케이션하는 능력을 갖기 때문에 많은 산업에 걸쳐 미래의 중심이 될 것입니다. NVIDIA Riva는 의료 및 금융 서비스, 교육 및 소매 분야 기업들이 빠른 속도와 정확성으로 고객 지원을 자동화하도록 도울 것입니다”이라고 설명했습니다.

Riva를 기반으로 구축된 애플리케이션은 AI 컴퓨팅을 위한 새로운 엔비디아 A100 텐서 코어(Tensor Core) GPU의 혁신 기술뿐 아니라, 추론을 위한 엔비디아 텐서RT(TensorRT)의 최신 최적화 기능을 활용할 수 있습니다. 이를 통해, 실시간 상호작용에 필요한 수준인 300밀리초 임계값 보다 더 빠르고 강력한 비전 및 음성 모델을 사용해 전체 멀티모달(multimodal) 애플리케이션을 실행할 수 있습니다.

Riva는 개발자가 각 기업 및 고객 고유의 용어를 이해할 수 있는 엔드-투-엔드 실시간 대화형 AI 애플리케이션을 쉽게 생성, 배치 및 실행할 수 있도록 하는 GPU 가속 소프트웨어 스택과 툴을 제공합니다.

시장조사기관 IDC의 AI 소프트웨어 플랫폼 리서치 티렉터 데이비드 슈멜(David Schubmehl)은 “모든 규모의 조직들이 잘 훈련된 가상 비서와 챗봇을 사용하여 고객 서비스를 제공하고 비즈니스를 성장시키는 것의 가치를 깨닫기 시작하면서, 대화형 AI 시장의 급속한 성장세가 지속되고 있습니다. IDC는 자동화된 고객 서비스 에이전트 및 디지털 어시스턴트 같은 대화형 AI 활용사례와 관련한 전세계 지출이 2019년 58억 달러에서 2023년 138억 달러로 성장해 연평균 24%의 복합성장률을 기록할 것으로 보고 있습니다”고 말했습니다.

개인화된 대화형 경험을 제공하기 위해서는 기업들이 자사 제품 및 고객 요구사항에 특정된 데이터에 대해 언어 기반 애플리케이션을 훈련시켜야 합니다. 하지만, 서비스를 처음부터 구축하려면 AI 관련 전문지식이 풍부해야 할 뿐 아니라, 모델을 훈련시키기 위한 대량의 데이터와 컴퓨팅 리소스는 물론, 새로운 데이터로 모델을 정기적으로 업데이트하는 소프트웨어가 필요합니다.

Riva는 대화형 AI를 위한 엔드-투-엔드 딥러닝 파이프라인을 제공하여 이러한 과제를 해결합니다. 또한, 자연어 이해를 위해 엔비디아의 메가트론 버트(Megatron BERT)와 같은 최첨단 딥러닝 모델을 포함합니다. 기업들은 엔비디아 네모(NVIDIA NeMo)를 사용해 데이터에서 이러한 모델을 미세 조정하고, 텐서RT를 통해 추론을 최적화하며, 엔비디아의 GPU 최적화 소프트웨어 카탈로그인 NGC에서 이용할 수 있는 헬름(Helm) 차트를 활용해 클라우드 및 엣지(edge) 환경에 배치할 수 있습니다.

엔비디아의 대화형 AI 플랫폼을 조기 도입해 활용하고 있는 기업들

전세계 주요 기업들은 엔비디아의 대화형 AI 플랫폼을 활용해 서비스 품질을 향상시키고 있습니다.

도시바(Toshiba), AT&T를 포함한 세계 선도 기업들은 보다 빠르고 자연스러운 대화형 경험을 제공하기 위해 엔비디아를 활용하는 보카의 AI 가상 에이전트를 이용하고 있습니다. 보카는 고객의 말과 대화 의도를 완벽하게 이해하기 위해 AI를 활용합니다. 이를 통해 다양한 음성 톤과 음성 단서를 자동으로 식별하여 고객이 말하는 것과 고객이 의미하는 것을 구별해냅니다. 또한, 엔비디아 AI 플랫폼이 제공하는 확장성을 통해 고객 대기 시간을 크게 단축시켰습니다.

보카의 공동창립자 겸 CTO(최고기술책임자) 앨런 베커(Alan Bekker)는 “콜센터에서는 낮은 레이턴시(대기시간)가 매우 중요하다. 엔비디아 GPU를 통해 우리 에이전트는 최고의 정확도로, 1초 이내에 듣고, 이해하고, 응대할 수 있습니다. 현재 우리 가상 에이전트는 일반 고객 서비스 요청부터 지불 거래 및 기술 지원에 이르는 모든 통화의 70-80 %를 성공적으로 처리하고 있습니다”고 말했습니다.

켄쇼는 엔비디아의 대화형 AI 플랫폼을 활용해 금융 분야 음성 인식 솔루션인 스크라이브(Scribe)를 개발했습니다. 엔비디아 기술이 적용된 스크라이브는 유선 회의, 혹은 다른 금융 오디오 관련 상용 솔루션보다 정확성 측면에서 최대 20% 더 우수한 성능을 제공합니다.

켄쇼의 AI 리서치 총괄 게오르그 쿠스코(Georg Kucsko)는 “우리는 딥 러닝을 통해 엔드-투-엔드 자동 음성인식을 구현하는 방법을 연구하기 위해 엔비디아와 긴밀히 협력하고 있습니다. 엔비디아와 새로운 모델을 훈련시켜 AI를 적용하지 않은 기존의 접근방식과 비교해 재무 전문 용어에 대한 보다 높은 정확도를 제공하고 있습니다. 이를 통해 고객들에게 단 몇 분 단위로 적시에 정보를 전달하고 있습니다”고 설명했습니다.

스퀘어는 영업사원들이 AI를 이용해 자동으로 고객과의 약속을 확인, 취소, 변경하고 보다 전략적이며 자유롭게 고객과 커뮤니케이션할 수 있는 AI 가상화 어시스턴트를 개발했습니다.

스퀘어의 대화형 AI 담당 총괄 가보르 안젤리(Gabor Angeli)는 “스퀘어 어시스턴트는 고객 질문의 75%를 이해하고 도움을 줄 수 있을 뿐 아니라, 10%의 더 많은 사람들이 약속을 지킬 수 있도록 합니다. GPU를 사용하면 CPU보다 10배 빠른 속도로 모델을 훈련하여 보다 정확하고 자연스러운 상호작용이 가능케 함으로써, 고객의 비즈니스 성장을 도모할 수 있습니다”고 말했습니다.

추가 자료