100억 달러 규모의 화상 회의 산업 혁신하는 NVIDIA Maxine AI 개발자 플랫폼

화상 회의를 통해 많은 사람들은 어디서나 생산성을 높일 수 있었습니다.

이제 NVIDIA는 100억 달러 규모의 화상 회의, 콜센터, 스트리밍 애플리케이션 개발자들이 워크플로우에 AI를 쉽게 통합하고 생산성을 높일 수 있도록 지원합니다!

새로 출시된 Maxine AI 개발자 플랫폼은 사용자 유연성, 참여도, 효율성을 향상시키는 기능으로 최첨단의 실시간 화상 회의 애플리케이션 개발을 혁신적으로 변화시킵니다.

Maxine은 NVIDIA AI Enterprise 소프트웨어 플랫폼을 통해 제공됩니다. Maxine은 향상된 비디오와 오디오 품질, 증강 현실(AR) 효과와 같은 최신 AI 기반 기능을 제공해 일상적인 화상 통화를 매력적인 협업 경험으로 전환합니다.

화상 회의의 가능성을 확대하는 Maxine의 새로운 기능

Maxine AI 개발자 플랫폼을 통해 개발자는 화상 회의 사용자의 참여도를 높여주는 실시간 AI 강화 기능을 쉽게 활용하고 통합할 수 있습니다.

노이즈 감소, 비디오 노이즈 제거와 업스케일링, 스튜디오 음성 등의 기능은 오디오와 비디오 스트림의 품질을 향상시키죠. 또한 시선 보정, 라이브 초상화, 비디오 리라이팅(video relighting), 클라우드 마이크로서비스 Maxine 3D와 같은 고급 기능을 통해 개발자는 화상 회의 사용자 간의 참여도와 개인적 유대감도 강화할 수 있습니다.

이 플랫폼은 개발자가 소프트웨어 개발 키트(SDK), 마이크로서비스부터 심지어 NVIDIA의 클라우드 인프라에서 제공되는 API 엔드포인트까지 다양한 방법으로 Maxine 기능을 제공합니다. 이를 통해 오디오, 비디오, AR 효과 등을 위한 최첨단 AI 모델의 사용 범위가 넓어집니다.

현재 사용할 수 있는 업데이트된 Maxine 프로덕션 기능은 다음과 같습니다.

Eye Contact: 향상된 Eye Contact 모델은 시선의 방향을 자연스럽게 전환해 회의 참가자의 참여도를 높입니다.
Voice Font: 발표자의 언어 정보와 운율(리듬과 어조)은 그대로 유지하면서, 발표자의 음성을 원하는 대상의 음성과 일치시킵니다.
Background Noise Reduction(BNR) 2.0: 단어 인코딩 과정 중 오류율을 줄이기 위해 사람이 청취할 때와 언어 인코딩 과정 중에 발생하는 노이즈를 감소시키는 성능을 향상시킵니다.

올 봄부터는 아래의 새로운 기능들을 미리 사용해 볼 수 있습니다.

Speech Live Portrait: Speech Live Portrait은 사용자가 직접 음성이나 모든 오디오 소스를 사용해 자신의 초상화를 제어할 수 있습니다. 이는 화상 회의 중에 항상 최상의 모습을 유지할 수 있도록 지원하죠.
Studio Voice: Studio Voice 모델은 일반 헤드셋, 노트북, 데스크톱의 마이크를 사용하더라도 고급 스튜디오의 마이크의 소리를 낼 수 있게 해줍니다. 사용자는 화상 회의 중에 항상 최상의 음질로 소리를 낼 수 있는 것이죠.

Maxine 얼리 액세스 프로그램은 곧 출시될 기능들을 사전 제작과 사전 출시 단계의 버전으로 공유해 개발자로부터 Maxine 모델의 유용성과 개선점에 대한 피드백을 받을 계획입니다. 이번 출시에서 개발자들에게 개발 과정의 초기 단계 기능들에 대한 피드백을 요청하고 있습니다.

Maxine 3D: 이 클라우드 마이크로서비스는 지난 SIGGRAPH 2023에서 연구 데모로 선보인 바 있는데요. 2D 비디오를 3D로 변환하는 실시간 NeRF 기술을 통해 화상 회의에 새로운 차원의 경험을 선사합니다.
Video Relighting: 이 새로운 모델은 HDR(high-dynamic-range) 이미지를 사용해 사용자의 조명을 조절하고 다양한 배경 이미지와 자연스럽게 일치시킵니다.
API Endpoints: 개발자가 NVIDIA 클라우드 인프라를 통해 Maxine 기능에 쉽게 접근할 수 있도록 하며, Maxine 기능의 통합을 더욱 간편하도록 만들었습니다.

아스널 축구클럽(Arsenal Football Club)과 함께 성공 가도를 이어가는 유고(Jugo)

스포츠 경기는 국경과 언어의 장벽을 넘어 팀과 팬들을 하나로 묶어주는 놀라운 경험을 선사하는데요. 유고는 Maxine의AI Green Screen 기능을 통해 가상 이벤트를 위한 디지털 플랫폼을 제공합니다. 이를 통해 기업이 풀 프로덕션 스튜디오가 없더라도 언리얼 엔진(Unreal Engine)으로 전 세계 팬들을 하나로 모으는 몰입형 경험을 제작할 수 있죠.

영국 프리미어리그의 강호 아스널 FC는 유고와 협업해 6억 명에 달하는 전 세계 팬들과 소통하는 방식을 혁신하고 있습니다. 이번 협업은 새로운 가상 스포츠 엔터테인먼트 경험을 제공해 전 세계 팬들의 참여도를 높일 예정입니다. 유고는 아스널 경기에 인간적인 소통의 힘을 더해 팬들과 스포츠 영웅 간에 현실감 넘치는 연대감을 만들어 냅니다.

유고 익스피리언스(Jugo Experience)의 CEO인 리차드 스터크(Richard Stirk)는 이에 다음과 같이 말했습니다. “유고 익스피리언스 플랫폼은 글로벌 인지도와 참여를 추구하는 브랜드 시장을 변화시키고 있습니다. 아스날 FC는 글로벌 브랜드 확장의 완벽한 사례입니다. 몰입감 넘치는 브랜드 경험을 상황에 맞춰 유연하게 제공할 수 있는 기능은 우리가 제공하는 서비스의 핵심이죠. NVIDIA Maxine AI 개발자 플랫폼은 이러한 유연성을 위해 꼭 필요한 구성 요소입니다.”

AI로 강화된 화상 회의의 새로운 표준 설정

제멜로(Gemelo), 펙십(Pexip), 스펙타클(Spectacle), 비디오리퀘스트(VideoRequest)는 얼리 액세스 프로그램의 최신 기능으로 상용 카메라와 마이크를 통해 전문적인 시청각 스튜디오를 구축한 최초의 고객들입니다.

제멜로 CEO 폴 재스키(Paul Jaski)는 “제멜로는 수년 동안 Maxine 모델의 사전 출시 버전 테스트에 참여해 왔습니다. 우리는 Maxine 모델 개발의 초기 단계에서 피드백을 제공할 수 있게 된 것을 매우 소중하게 생각합니다. 최신 기능인 음성 라이브 초상화 기능은 고객에게 비디오 메시지를 맞춤 제작하는 과정에서 더 많은 선택의 자유를 줍니다”며, “새로운 개인 맞춤화 시대의 문을 열 것”이라고 말했습니다.

펙십의 최고 기술 책임자인 이안 모티머(Ian Mortimer)는 “우리가 Maxine 기능의 개발 버전을 테스트하고 최종 제품 모델을 이끌 수 있게 되어 기쁩니다. 최신 버전의 Maxine BNR을 테스트하면서 우리는 명료도와 음성 품질이 크게 개선된 것을 확인했습니다. AI 번역의 모든 단계에서 정확도를 최적화할 수 있도록 테스트 파라미터를 계속 개선할 계획”이라고 밝혔습니다.

스펙타클의 대표인 벤자민 포트만(Benjamin Portman)은 “NVIDIA Maxine Eye Contact API를 사용하면 스펙타클 앱 사용자에게 매력적인 비디오 처리 기능을 제공하는 경로가 크게 간소화됩니다. 이로써 인프라와 자원을 많이 소모하는 통합 작업에 대해 걱정할 필요가 없어졌습니다. 며칠 만에 개념 증명을 만들어 최종 제품의 개발과 출시 속도를 앞당길 수 있었죠”라고 말했습니다.

비디오리퀘스트의 최고기술책임자인 조 타일러(Joe Tyler)는 “Maxine Studio Voice를 초기 테스트한 결과, 향상된 비디오 제작과 비디오 추천에서 오늘날 AI가 제공하는 새로운 가능성에 대해 인상적으로 봤습니다. 새로운 Maxine BNR과 Eye Contact 기능은 까다로운 녹화 환경을 해결하고 고객의 동영상 품질을 높이는 데 도움이 될 것”이라고 말했습니다.