NVIDIA는 8월 30일부터 9월 3일까지 열리는 세계 최고 음성 언어 처리 학회 인터스피치 2021(INTERSPEECH 2021)에서 표현적 음성 합성(Expressive speech synthesis)을 위한 최첨단 대화형 AI 모델을 공개합니다. 해당 모델은 고품질에 제어 또한 가능한 음성 합성을 구현해 인간 음성의 풍부함을 잡음 없이 담아내죠.
NVIDIA의 모델들은 은행과 소매업계의 음성 자동화 고객 서비스 라인을 지원하고 비디오 게임과 소설 속 캐릭터에 생동감을 불어넣는 한편, 디지털 아바타용 실시간 음성 합성을 지원합니다. NVIDIA 크리에이티브 팀은 AI의 위력을 다루는 비디오 시리즈에 삽입돼 풍부한 표현력을 자랑하는 내레이션에도 음성 합성 기술을 사용하고 있습니다.
표현적 음성 합성은 NVIDIA 연구진이 대화형 AI 분야에서 진행 중인 여러 연구의 일부입니다. 대화형 AI는 음성 합성 외에도 자연어 처리, 자동 음성 인식, 키워드 검출, 오디오 개선 등 여러 요소를 포함합니다.
NVIDIA GPU에서 효율적으로 실행되도록 최적화된 최첨단 연구의 일부는 NVIDIA NeMo 툴킷을 통해 오픈소스로 제작됐으며, NVIDIA NGC 컨테이너 허브와 기타 소프트웨어에서 제공됩니다.
‘I AM AI’의 제작을 지원하는 NVIDIA의 음성 합성 모델
NVIDIA 연구진과 크리에이티브 전문가들은 음성 합성 기술을 실제 사례에 접목해 대화형 AI의 위력을 증명하고 있습니다. 그 일환으로 NVIDIA는 ‘I AM AI’의 제작에 혁신적 음성 합성 모델을 사용합니다. I AM AI는 산업 전반을 재편하는 세계적 혁신들을 소개하는 비디오 시리즈입니다.
얼마 전까지만 해도 해당 영상의 내레이션은 사람이 직접 담당했는데요. 기존 음성 합성 모델의 경우 합성된 음성의 속도와 음정 제어에 한계가 존재했죠. 그 결과 AI를 활용한 내레이션은 인간 화자만큼 시청자의 정서적 반응을 강하게 이끌어내지 못했습니다.
이러한 경향은 NVIDIA의 텍스트-투-스피치(text-to-speech) 연구진이 RAD-TTS처럼 보다 강력하고 제어 가능한 음성 합성 모델을 개발하면서 변화했습니다. RAD-TTS는 시그라프(SIGGRAPH) 2021의 실시간 라이브 쇼케이스에서 우승한 NVIDIA의 데모에서도 소개된 바 있는데요. 해당 모델은 텍스트-투-스피치 모델을 개인의 음성으로 훈련시켜 텍스트 일체를 해당 화자의 목소리로 즉시 변환할 수 있습니다.
RAD-TTS의 또 다른 음성 변환 기능은 화자의 말뿐 아니라 노래까지 다른 화자의 목소리로 전달합니다. 인간의 목소리가 곧 악기라는 아이디어에 영감을 얻은 RAD-TTS 인터페이스는 합성된 목소리의 음정과 길이, 분위기 전반을 프레임 단위로 세밀히 제어하게 해줍니다.
I AM AI의 프로듀서는 RAD-TTS 인터페이스를 사용해 대본 내용을 직접 녹음한 다음, 자신의 음성을 여성 내레이터의 목소리로 변환했습니다. 이 기본 내레이션을 바탕으로 AI의 음성이 성우의 육성처럼 들리게 연출했죠. 다시 말해, 합성 음성을 수정해 특정 단어를 강조하고 영상의 분위기를 더욱 완벽히 표현하도록 내레이션의 속도를 변경했습니다.
RAD-TTS 모델의 기능은 내레이션을 덧입히는 수준을 넘어섭니다. 문자 음성 변환 프로그램은 게이밍, 발성 장애를 가진 개인의 지원, 사용자의 목소리로 언어 사이를 오가는 번역 등에 활용됩니다. 더 나아가 유명 가수의 공연도 재현할 수 있는데요. 곡의 멜로디뿐 아니라 노래 너머의 감정도 표현이 가능합니다.
AI 개발자와 연구자에게 목소리를 부여하는 음성 모델
NVIDIA NeMo는 GPU 가속 대화형 AI를 위한 오픈소스 파이썬(Python) 툴킷입니다. 연구자와 개발자, 크리에이터의 애플리케이션에 적합한 음성 모델의 신속한 실험과 미세 조정에 기여하죠.
NeMo의 간편한 API와 사전 훈련된 모델들은 문자 음성 변환과 자연어 처리, 실시간 자동 음성 인식용 모델의 개발과 커스터마이징을 지원합니다. 일부 모델은 NVIDIA DGX 시스템에서 수만 시간 분량의 오디오 데이터로 훈련됩니다. 또한 개발자들은 자신의 활용 사례에 맞춰 모델 일체를 미세 조정할 수 있습니다. 이때 NVIDIA Tensor Core GPU에서 혼합 정밀도 컴퓨팅을 사용해 훈련 속도를 높입니다.
NVIDIA NeMo는 모질라 커먼 보이스(Mozilla Common Voice)로 훈련한 모델을 NGC 카탈로그를 통해 제공합니다. 모질라 커먼 보이스는 76개 언어와 14,000시간 분량의 음성 데이터를 크라우드 소싱 방식으로 수집한 데이터세트입니다. NVIDIA는 이 프로젝트에 대한 지원을 통해 세계 최대의 공개 데이터 음성 데이터세트를 구축하고 음성 기술을 대중화할 것입니다.
AI 음성 연구의 혁신을 공유하는 NVIDIA 연구진
인터스피치는 1,000명 이상의 연구자가 한데 모여 음성 언어 처리 기술의 혁신을 선보이는 자리입니다. 컨퍼런스에서 NVIDIA 연구진은 대화형 AI 모델 아키텍처와 더불어 개발자를 위해 포맷팅을 완료한 음성 데이터세트를 소개합니다.
NVIDIA의 연사들이 이끄는 대담은 다음과 같습니다.
- 신-애그노스틱 다중 마이크 음성의 반향 제거(Scene-Agnostic Multi-Microphone Speech Dereverberation) — 8월 31일 화요일
- SPGI스피치: 포맷팅을 완료한 엔드투엔드 음성 인식과 이를 위해 전사된 5,000시간 분량의 금융 부문 오디오(SPGISpeech: 5,000 Hours of Transcribed Financial Audio for Fully Formatted End-to-End Speech Recognition) — 9월 1일 수요일
- Hi-Fi 멀티 스피커 영어 TTS 데이터세트(Hi-Fi Multi-Speaker English TTS Dataset) — 9월 1일 수요일
- 토크넷2: 음성 합성을 위한 비자기회귀형 뎁스-와이즈 분리 가능 합성곱 모델과 명시적 음정 및 길이 예측(TalkNet 2: Non-Autoregressive Depth-Wise Separable Convolutional Model for Speech Synthesis with Explicit Pitch and Duration Prediction) — 9월 2일 목요일
- 희소 임의 3진수 행렬을 사용하여 1차원 시간-채널 분리 가능형 합성곱 압축하기(Compressing 1D Time-Channel Separable Convolutions Using Sparse Random Ternary Matrices) — 9월 3일 금요일
- NeMo 인버스 텍스트 정규화: 개발에서 프로덕션까지(NeMo Inverse Text Normalization: From Development to Production) — 9월 3일 금요일
NGC 카탈로그에서 NVIDIA NeMo 모델을 확인할 수 있으며, 인터스피치에서 NVIDIA 연구진의 세션을 놓치지 마세요.