실시간 대화형 AI 서비스 구축을 위한 NVIDIA Riva 1.0 Beta 출시

by NVIDIA Korea

NVIDIA Riva 1.0 Beta는 전사(transcription), 가상 어시스턴트, 챗봇 등 실시간 대화형 AI 애플리케이션의 구축과 배포를 위한 엔드투엔드(end-to-end) 워크플로우를 지원합니다. 이 애플리케이션 프레임워크를 활용하면 NVIDIA GPU로 가속하는 멀티모달 대화형 AI 서비스를 실시간으로 구동할 수 있죠.

1.0 Beta 버전에는 대화형 AI용으로 새롭게 사전훈련된 모델과 Transfer Learning Toolkit(TLT)가 포함되었습니다. 덕분에 AI 기반 대화형 애플리케이션들을 각 기업의 개별 사용사례와 영역에 맞춰 원활히 적용할 수 있게 되었는데요. 이 애플리케이션들은 컨텍스트와 뉘앙스를 이해할 수 있어 사용자 경험 또한 개선합니다.

Riva로 최첨단 모델들을 확보하고 TLT를 통한 전이 학습을 실시하면 서비스 개발 시간을 최대 10배까지 단축할 수 있습니다. GPU를 활용한 파이프라인 가속화와 최적화를 통해 실시간 구동이 가능한 언어 기반 지능형 애플리케이션을 만들 수도 있죠.

이번 버전에 포함된 주요 내용은 다음과 같습니다.

  • 수천 시간 분량의 음성 데이터로 훈련한 ASR, NLU, TTS 모델
  • 사용자 지정 데이터에서 모델의 신속한 재훈련이 가능하도록 제로 코딩 방식의 TLT 사용
  • 딥 러닝 파이프라인의 가속화와 최적화를 통해 서비스의 확장성 확보
  • 코드 한 줄로 서비스 배포 지원하는 엔드투엔드 워크플로우와 툴 제공

대화형 AI는 금융, 헬스케어부터 소비자 서비스에 이르기까지 산업 전반에서 새로운 기회들을 창출하고 있습니다.

인스타딥(InstaDeep)은 일찍부터 Riva를 도입했습니다. 아랍어 기반의 가상 어시스턴트를 제공하는 이 기업의 애플리케이션 성능 개선에 NVIDIA Riva가 크게 기여했는데요. 아랍어 음성을 텍스트로 변환하는 모델을 Riva의 NeMo 툴키트로 미세 조정해 단어의 오류율을 7.84%까지 낮췄습니다.

러시아 최대 규모의 모바일 네트워크 사업자인 MTS는 Riva 기반 챗봇과 가상 어시스턴트를 고객 지원에 활용하고 있습니다. Riva로 러시아어 ASR 모델을 미세 조정하여 정확도를 크게 개선하고 TensorRT를 통한 최적화로 전반적 성능을 강화했습니다.

소프트웨어 기업 리본(Ribbon)은 실시간 커뮤니케이션과 통화 처리 플랫폼에 Riva를 도입해 텍스트와 음성을 변환하는 고급 작업을 수행합니다. 기업과 정부 기관은 매일 수천만 건의 통화를 녹음하지만 이들을 검색해 중요한 인사이트를 확보하는 것은 사실 불가능에 가까운데요. Riva를 통해 녹음본을 텍스트로 변환하고 AI 툴을 사용하면 이 데이터를 신속히 검색⋅분석할 수 있습니다.

헬스케어 분야에서는 노스웨스턴 메디신(Northwestern Medicine)과 아티사이트(Artisight)가 손잡고 병원을 더 스마트하게 만들고 있습니다.

앤드류 고스틴(Andrew Gostine) 의학박사 겸 아티사이트 CEO는 노스웨스턴 메디신의 목표가 “헬스케어 AI 솔루션 제품군을 통해 환자의 만족도와 직원의 생산성을 증진하는 것”이라면서 이렇게 설명합니다. “NVIDIA Clara Guardian과 Riva로 구동하는 대화형 AI는 코로나19 기간에 직접적인 신체 접촉은 줄이면서 고품질 의료를 지원할 수 있도록 도와 환자와 직원의 안전을 보호하고 있습니다. Riva ASR과 TTS 모델은 대화형 AI를 현실로 바꿉니다. 이제 환자들은 의료진에게 문의가 가능해질 때까지 기다릴 필요 없이 AI 기반 가상 어시스턴트에게서 즉각적인 대답을 얻을 수 있습니다.”

인텔리전트 보이스(Intelligent Voice)는 음성인식 기술을 이용해 통화 내용을 캡처하고 이를 텍스트로 변환한 후 자동 발송하는 시스템을 보유한 기업으로 Riva를 도입해 큰 성과를 거뒀습니다.

나이젤 캐닝스(Nigel Cannings) 인텔리전트 보이스 최고기술책임자(CTO)는 자사가 “고성능의 음성인식 솔루션을 제공하고 있지만 고객은 항상 그 이상을 요구한다”고 말합니다. “멀티모달 방식의 Riva는 ASR의 핵심 요소를 개체(entity) 및 의도(intent) 매칭과 결합시켜 높은 처리량과 낮은 지연시간이 요구되는 사용사례들을 해결합니다. Riva API는 사용이 무척 간편해서 고객들의 워크플로우에 원활히 통합⋅응용되어 최적의 성능을 제공하죠.”

0304 블로그 중간
Figure 1: 여러 업계의 선도적 기업들이 Riva를 도입했습니다.

NVIDIA 개발자 프로그램 회원은 NVIDIA RivaTransfer Learning Toolkit를 무료로 다운로드할 수 있습니다. ‘Getting Started’ 페이지에서 샘플, Jupyter 노트북, 신규 사용자를 위한 튜토리얼 블로그 등의 리소스를 확인하세요.