노이즈 제거: 라이브 스트리밍, 원격 업무 경험을 향상시키는 NVIDIA Broadcast

편집자 노트: 본 게시물은 RTX PC 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구, 가속화를 보여주는 동시에 기술의 접근성을 높여 AI를 쉽게 이해하도록 돕기 위해 작성된 NVIDIA의 AI Decoded 시리즈 중 하나입니다.

AI는 컴퓨팅을 완전히 변화시켰습니다. 최근에는 생성형 AI가 주목을 받았지만 AI 가속 및 NVIDIA RTX 기반 도구 역시 수년간 게이밍, 콘텐츠 제작과 생산성 업무를 향상시키는 데 핵심적인 역할을 해 왔습니다.

NVIDIA Broadcast 앱은 로컬 RTX GPU의 Tensor 코어를 사용하여 오디오 및 영상의 품질을 원활하게 개선하는 한 가지 예입니다. GeForce RTX 와 NVIDIA RTX GPU에 내장된 NVIDIA 인코더(NVENC)와 함께 앱을 사용하면 간단하게 라이브 스트리머로 데뷔할 수도 있고, 화상 회의 통화 중에 전문가처럼 보일 수 있습니다.

꿈 같은 스트리밍

고품질 라이브 스트리밍에는 지금까지 고가의 하드웨어가 필요했습니다. 많은 라이브 스트리머가 x264 소프트웨어 라이브러리를 사용하는 소프트웨어 CPU 인코딩에 의존했으며, 이는 종종 게임플레이 품질에 영향을 미쳤습니다. 이로 인해 많은 사람들이 듀얼 PC 설정을 통해 한 대의 PC는 게이밍과 콘텐츠에 집중하고 다른 한 대의 PC는 스트림 인코딩에 사용했습니다. 이는 조합해서 쓰기가 복잡하고 문제를 해결하기가 어려웠으며 초보 라이브 스트리머에게는 엄청난 비용이 드는 경우가 많았습니다.

여기서 NVENC가 도와줄 수 있습니다. NVENC는 인코딩을 처리하는 NVIDIA GPU의 전용 하드웨어 영상 인코더로, 시스템의 나머지 리소스를 게임 및 콘텐츠 성능에 할당할 수 있습니다. OBS(Open Broadcaster Software)와 같은 업계 최고의 스트리밍 앱은 NVENC에 대한 지원을 추가하여 Twitch, YouTube 같은 인기 플랫폼에서 차세대 방송인을 위한 토대를 마련하고 있습니다.

또한 NVIDIA Maxine은 큰 비용이 드는 장비 문제를 해결하는 데 도움을 줍니다. 여기에는 가상 크로마키 및 웹캠 기반 증강 현실 추적과 같은 무료 AI 기반 기능이 포함되어 있어 물리적인 크로마키나 모션 캡처 슈트와 같은 특수 장비가 필요하지 않습니다. 방송인들은 TwitchCon 2019에서 이 기술을 처음 경험했습니다. 해당 이벤트에서는 GeForce RTX 2080 GPU에서 AI 가속 크로마키로 OBS 라이브를 테스트했습니다.

Maxine의 AI 기반 효과는 RTX Voice 베타판에서 RTX 사용자에게 처음 제공되었으며, 그 후 NVIDIA Broadcast라는 독립 실행형 앱으로 제공되었습니다.

NVIDIA Broadcast 시작하기

NVIDIA Broadcast는 다양한 활용 사례에서 오디오 및 영상 품질을 개선하는 AI 기반 기능을 제공하고 있습니다. 사용자 친화적이며 모든 앱에서 작동하고 설치도 간편합니다.

다음과 같은 기능들을 제공합니다.

노이즈 및 음향 에코 제거: 버튼을 누르기만 하면 AI가 마이크와 인바운드 오디오 모두에서 원치 않는 배경 노이즈를 제거합니다.
가상 배경: 배경 제거, 대체 및 블러와 같은 기능으로 고가의 장비나 복잡한 조명 설정 없이도 배경을 맞춤 설정할 수 있습니다.
아이 컨택: AI는 스트리머가 카메라에서 눈을 떼거나 메모를 작성할 때도 카메라를 바라보는 것처럼 보이게 합니다.
자동 프레임: 실시간으로 움직임을 동적으로 추적하여 위치와 관계없이 움직이는 물체를 자동으로 자르고 확대 및 축소합니다.
비네트(Vignette): AI가 카메라 이미지의 모서리에 어둡게 하는 효과를 적용하여 시각적 대비를 제공함으로써 영상의 중앙으로 시선을 집중시키고 스타일리시한 감각을 더합니다.
영상 노이즈 제거: 저조도 상황에서 시각적 노이즈를 제거하여 더욱 선명한 영상을 제공합니다.

NVIDIA Broadcast는 Windows에서 가상 카메라, 마이크 또는 스피커를 생성하는 방식으로 작동하므로 사용자가 디바이스를 한 번만 설정하면 Discord, Google Meet, Microsoft Teams, OBS Studio, Slack, Webex, Zoom을 포함한 모든 방송, 화상 회의 또는 음성 채팅 앱에서 사용할 수 있습니다.

NVIDIA GeForce RTX, TITAN RTX, NVIDIA RTX 또는 Quadro RTX GPU에서 GPU의 전용 Tensor 코어를 사용하여 앱의 AI 네트워크가 실시간으로 실행되도록 지원할 수 있습니다.

앱 개발자도 NVIDIA Broadcast와 동일한 AI 기반 기술을 소프트웨어 개발 키트로 사용할 수 있습니다. 오디오 비주얼 기술 회사인 Elgato는 자사의 Wave Link 소프트웨어에 Maxine의 AI 오디오 노이즈 제거 기술을 포함하고 있으며, 스트리밍을 위해 애니메이션 캐릭터로 3D 모델을 웹캠에 연결하는 인기 앱인 VTube Studio는 RTX 가속 모델 추적기 플러그인을 무료 다운로드로 제공하고 있습니다. 독립 개발사 Xaymar는 VoiceFX 플러그인에 NVIDIA Maxine을 사용하고 있습니다.

콘텐츠 크리에이터는 이 플러그인 또는 Elgato의 가상 스튜디오 기술(VST) 필터를 사용하여 Adobe Premiere Pro와 같은 영상 편집 제품군이나 Ableton Live 및 Adobe Audition과 같은 디지털 오디오 워크스테이션의 후처리 과정에서 녹음 파일의 노이즈와 에코를 제거할 수 있습니다.

직접 들어보면 믿게 됩니다

NVIDIA Broadcast는 출시 이후 수백만 명이 사용했습니다.

Twitch 유명인이자 방송인인 Mr_Vudoo는 다음과 같이 말했습니다. “저는 영상 노이즈 제거 와배경 교체를 가장 많이 활용했습니다. 눈 맞춤 기능은 매우 흥미로웠고 솔직히 말하면 너무 부드럽게 작동해서 놀라움을 금치 못했습니다.”

YouTube 채널 PiXimperfect를 운영하는 Unmesh Dinda는 극단적인 시나리오에서 NVIDIA Broadcast의 노이즈 제거 및 에코 제거 AI 기능을 시연했습니다. 마이크에 대고 선풍기를 틀어놓고 헬멧을 쓴 채 강렬한 충격을 받았습니다. 배경에 이렇게 큰 소리가 있는 경우에도 Broadcast의 노이즈 제거 기능을 켜면 Dinda의 목소리가 매우 선명하게 들렸습니다. 이 영상은 1,200만 회가 넘는 조회수를 기록했습니다.

NVIDIA Broadcast는 점점 늘어나는 원격 업무 인력에게도 유용한 도구입니다. Tom’s Hardware의 편집장인 Avram Pitch는 시끄러운 에어컨 소리와 잔디 깎는 이웃, 심지어 로봇을 잡고 휘두르며 짜증 내는 어린이를 대상으로 앱의 노이즈 제거 기능을 테스트한 내용을 자세히 설명했습니다. Broadcast의 AI 오디오 필터가 항상 우세한 결과를 보였습니다.

Piltch는 이렇게 설명했습니다. “저는 8살짜리 아이가 제 바로 뒤에서 가짜로 짜증을 내도록 했는데요. 노이즈 제거를 활성화하자 “안 잘 거야”라고 외치는 모든 소리가 녹화본에서는 적어도 완전히 사라졌습니다. 더욱 까다로운 상황을 연출하기 위해 아들에게 빙글빙글 돌아가는 로봇 자동차를 들고 다니면서 짜증을 내도록 했습니다. 이번에도 NVIDIA Broadcast는 원치 않는 소리를 모두 제거했습니다.”

의료 전문가와의 영상 통화와 같은 일상적인 시나리오에서도 NVIDIA Broadcast의 AI 기반 배경 제거 기능을 활용할 수 있습니다.

Today I was video calling my doctor and she complimented me on how good the background blurring on my webcam looked.

It caught me so off guard, I didn’t know how to respond, so I just gave her a step by step tutorial on how to use NVIDIA Broadcast 😩

— Prismatic Ash (@_Ashdown) June 14, 2024