자동차를 타고 도로 위를 달리던 중 갑자기 배가 고팠던 경험이 누구나 있을 겁니다. 이럴 때 운전 보조 시스템에 물어보고 내 취향에 맞는 근처 음식점을 추천 받는다면 멋지지 않을까요?
이제 NVIDIA GPU 시스템과 소프트웨어 라이브러리를 통해 모든 기업이 이러한 경험을 구축할 수 있습니다. 대화형 AI 서비스를 위한 NVIDIA Riva, 추천 시스템을 위한 NVIDIA Merlin 등이 오픈베타에 들어갔기 때문인데요. 엔비디아의 CEO 젠슨 황(Jensen Huang)은 10월 5일부터 9일까지 열린 GPU 테크놀로지 컨퍼런스에서 이 소식을 발표했습니다.
현재의 디지털 환경은 음성 서비스 및 추천 시스템용 AI를 그 어느 때보다도 필요로 하는 반면 개발 도구는 뒤처져 왔습니다. 또 더 나은 음성 AI 서비스에 대한 필요성이 급증하고 있죠.
점점 더 많은 사람들이 집에서 원격으로 근무하고, 수업을 듣고, 쇼핑하고, 의사에게 진료를 받고 있는데요. 이는 원격 서비스에 대한 과부하로 이어져 사용자의 편의성을 떨어트립니다. 하버드 비즈니스 리뷰(Harvard Business Review)의 보고서에 따르면, 일부 콜 센터들의 대기 시간이 34% 증가했으며 콜 센터 서비스에 대한 불만족으로 컴플레인을 하는 경우가 68% 증가했습니다.
한편, 현재의 추천 서비스는 인터넷 사용자의 경험을 개인화 하지만 부족한 점이 있습니다. 소매 업체의 추천 시스템은 최근에 구매한 아이템을 또 제안하거나 사람들에게 귀찮은 광고를 띄우곤 하죠. 또 미디어와 엔터테인먼트 추천 시스템은 종종 겹칠뿐더러 다양하지 않습니다. 이러한 시스템은 주로 과거에 추천했던, 혹은 유사한 추천 내역을 벗어나지 못합니다.
NVIDIA Riva와 NVIDIA Merlin을 통해 기업은 딥 러닝 모델을 훈련해 맥락 기반의 지능적인 권장 시스템을 개발할 수 있습니다. Riva를 기반으로 구축된 대화형 AI 서비스와 Merlin을 기반으로 구축된 추천 시스템은 비즈니스에 더 나은 서비스를 위한 추진력을 제공합니다.
Riva를 조기 도입한 기업의 눈부신 발전
NVIDIA Developer 프로그램의 일부 기업은 이미 NVIDIA Riva의 대화형 AI 서비스를 도입했습니다. 여기에는 콜 센터 지원을 위한 AI 보조 프로그램 Voca, 금융 및 비즈니스 자동 음성 기록 장치인 Kensho, 그리고 가상 스케줄 보조를 제공하는 Square 등이 있습니다.
인텔리전트 보이스(Intelligent Voice)는 런던에 위치한 고성능 음성 인식 서비스를 제공하는 기업인데요. CTO인 나이젤 캐닝스(Nigel Cannings)에 따르면 인텔리전트 보이스 항상 더 많은 것을 찾고 있다고 합니다.
나이젤은 “Riva는 다중 접근 방식으로 자동 음성 인식의 핵심 요소를 뚜렷하고 매칭 시스템과 결합합니다. 이 방법으로 높은 처리량과 짧은 지연 시간이 요구되는 새로운 사용 사례를 관리합니다. Riva API는 최적화된 성능으로 고객의 워크플로우를 지원해 쉽게 통합하고 맞춤화할 수 있습니다”라고 말했습니다.
NVIDIA Inception 프로그램의 일원인 인텔리전트 보이스는 Riva를 이용해 코로나로 인한 위기의 상황 속에서 Myna라는 완전히 새로운 제품을 짧은 시간 안에 내놓았습니다. Myna는 정확하고 유용한 회의 리콜을 수행합니다.
대화가 잘 통하는 AI의 필요성
미국에서는 콜센터 보조원이 하루에 2억 통의 통화를 처리하고, 원격의료 서비스로 매일 240만 건의 내과 진료가 이루어져 매우 정확한 음성 파일이 필요합니다.
그러나 기존의 음성 시스템은 개선할 필요가 있습니다. 프로세싱이 CPU에 의해 제약을 받기 때문에 품질이 낮은 모델의 로봇 음성 제품은 지연을 일으킵니다. Riva에는 메가트론 버트(Megatron BERT)와 같은 최첨단 딥러닝 모델이 포함돼 정확도는 높이고 지연 시간은 줄여줍니다.
또한 자연스러운 상호 작용을 지원하는 실시간 대화형 AI를 구현하려면 CPU 모델의 경우 600밀리초가 아닌 300밀리초 이내에 모델을 계산해야 하는데요.
Riva는 비디오 카메라와 마이크를 통합한 센서를 통해 보다 자연스러운 상호 작용을 제공합니다. 여러 데이터 흐름을 실시간으로 처리할 수 있기 때문에 개선된 서비스를 제공할 수 있는거죠.
정교한 모델 파이프라인을 기반으로 간단한 솔루션 구축
대화형 AI의 모델 파이프라인은 복잡하며 여러 서비스 간 조정이 필요할 수 있습니다.
마이크로 서비스는 자동 음성 인식 모델, 자연 언어 이해, 텍스트 음성 변환 및 도메인별 애플리케이션으로 규모에 맞게 실행되어야 합니다. 이렇게 극도로 특화된 작업은 병렬 프로세싱으로 실행될 때 속도가 빨라지는데요. 경쟁사의 CPU 전용 서버에 비해 3배 높은 비용 이점을 제공합니다.
NVIDIA Riva는 포괄적인 프레임워크로서 대화형 AI 애플리케이션 구축을 지원하기 위해 최신 딥러닝 모델을 사용하는 ASR, NLU, TTS 및 컴퓨터 비전을 포함해 GPU 최적화 서비스를 모두 소프트웨어 라이브러리를 제공하죠.
개발자는 이러한 다양한 기술을 활용해 애플리케이션을 구축하고 배고픈 여행자들이 적당한 식당을 신속하게 찾을 수 있도록 지원할 수 있습니다.
더 연관성 있는 정보를 제공하는 Merlin
추천 시스템은 맞춤형 인터넷의 엔진으로 모든 온라인 서비스에서 볼 수 있습니다. 추천 시스템은 이용자들이 좋아할 만한 음식을 제안하고, 구매할 만한 상품을 보여주며, 이용자가 다른 사이트로 이동할 때 상품 제안에 대한 리타겟 광고를 통해 이용자의 관심을 사로잡을 수 있습니다.
하지만 추천 시스템이 제대로 활용되지 못하면, 사람들은 만족하지 못하고 기업들은 이윤을 충분히 얻지 못합니다.
거대한 온라인 상거래 사이트들에서는 추천 시스템으로 인한 판매가 매출의 30%를 차지합니다. 그래서 추천 시스템의 연관성을 1%만 개선해도 수십억 달러의 수익으로 이어질 수 있죠.
GPU 기반으로 규모에 맞는 추천시스템 구축
텐센트(Tencent)는 추천 시스템을 통해 사용자에게 비디오, 뉴스, 음악을 추천하는데요. NVIDIA Merlin을 도입해 추천 시스템의 학습 시간을 20시간에서 3시간으로 단축했습니다.
텐센트 TEG의 AI 기술 리더인 이반 콩(Ivan Kong)은 “Merlin HugCTR 광고 추천 가속 프레임워크를 사용함으로써 우리의 광고 비즈니스 모델의 학습이 더 빠르고 정확해졌습니다. 덕분에 온라인 광고의 효과가 향상될 것으로 기대됩니다.”라고 말했습니다.
추천 시스템의 대중화 선도
이제 누구나 NVIDIA Merlin 애플리케이션 프레임워크에 액세스할 수 있습니다. NVIDIA GPU를 통해 모든 종류의 기업이 추천 시스템을 구축할 수 있습니다.
Merlin의 라이브러리 모음에는 기존의 방법보다 더 나은 예측을 제공하고 클릭 수를 높이는 딥러닝 기반의 툴이 포함되어 있는데요. 파이프라인의 각 단계는 수백 테라바이트의 데이터를 지원하는데 최적화되어 있으며 API를 통해 쉽게 활용할 수 있습니다.
Merlin은 세계에서 가장 큰 미디어 회사 중 한 곳에서 사용되고 있으며 전 세계 수백 개의 기업에서 테스트 중입니다. 또한 미국 유수의 소셜 미디어 기업들이 Merlin을 통한 뉴스 제공을 테스트하고 있죠. 스트리밍 미디어 서비스는 다음에 볼 영상을 제안하는 서비스를 테스트하고 있습니다. 그리고 주요 유통업체들은 구매 품목 추천 시스템을 구축하기 위해 이 제품을 검토하고 있습니다.
현재까지 Merlin의 기술이 얼마나 발전했는지 자세히 알아보세요. NVTabular, Multi-GPU, HughCTR 및 NVIDIA Trieton Inference Server 에 대한 지원이 추가되었습니다.
기업은 NVIDIA Riva 베타 버전을 통해 대화형 AI의 최신 개발을 가속화하고 NVIDIA Merlin 베타 버전을 시작해 테라바이트 단위의 데이터를 업로드하고 추천 시스템을 규모에 맞게 구출할 수 있습니다.