편집자 노트: 본 게시물은 AI Decoded 시리즈의 일부로, AI에 대한 접근성을 높여 AI에 대한 이해를 돕고, RTX 워크스테이션 및 PC 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구 및 가속화를 소개합니다.
AI는 콘텐츠를 생성, 배포 및 소비하는 방식을 개선하여 방송업계를 혁신하고 있지만, 이 기술을 통합하는 것은 쉽지 않은 일입니다.
이번에 제한적으로 출시된 미디어용 NVIDIA Holoscan은 소프트웨어 정의 AI 지원 플랫폼으로, 이를 통해 개발자는 AI를 라이브 미디어 애플리케이션에 쉽게 통합할 수 있고 미디어 회사는 AI와 동일한 인프라에서 라이브 미디어 파이프라인을 실행할 수 있습니다.
실시간 그래픽 처리 및 AI 컴퓨팅을 위한 NVIDIA GPU 기반의 NVIDIA RTX AI 워크스테이션 및 PC는 이러한 애플리케이션을 개발하는 데 이상적인 토대를 제공합니다.
암스테르담에서 개최되는 IBC 방송 및 미디어 테크쇼에서는 Adobe, Blackmagic Design, Topaz Labs를 비롯한 NVIDIA 파트너들이 라이브 미디어의 발전을 지원할 최신 RTX AI 기반 비디오 편집 도구 및 기술을 선보일 예정입니다.
미디어용 NVIDIA Holoscan: 라이브 프로덕션의 미래 구축
라이브 미디어용 애플리케이션 개발을 위한 강력한 AI 소프트웨어 스택을 구축하는 작업은 상당한 전문 지식과 리소스를 필요로 하는 복잡한 과정입니다.
이러한 기술적 복잡성에 더해, 대규모 고품질 데이터의 필요성 그리고 파일럿 프로그램을 프로덕션 수준의 성능으로 확장하는 데 따르는 어려움으로 인해 이러한 이니셔티브는 완전한 배포에 이르지 못하는 경우가 많습니다. 또한, 전통적인 소프트웨어 개발은 전용 하드웨어에 묶여 있어, 혁신이 더욱 제한되고 업그레이드가 번거로웠습니다.
이러한 문제를 해결하는 미디어용 NVIDIA Holoscan은 개발자가 광범위한 NVIDIA AI 소프트웨어 개발 키트(SDK)와의 원활한 통합을 통해 라이브 미디어용 최첨단 AI 애플리케이션을 손쉽게 개발할 수 있도록 지원합니다. 이를 통해 개발자는 최첨단 AI 기능을 애플리케이션에 쉽게 통합할 수 있으므로, 보다 정교하고 지능적인 미디어 애플리케이션을 만드는 데 집중할 수 있습니다. 그런 다음 미디어 회사는 이러한 애플리케이션을 플랫폼상에서 실행되는 라이브 비디오 파이프라인에 원활하게 연결할 수 있습니다.
라이브 미디어 애플리케이션 개발에서 발생하는 또 다른 전형적인 문제는 배포의 비효율성입니다. 개발자는 온프레미스, 클라우드, 엣지 등 다양한 배포 유형에 따라 별도의 빌드를 만들어야 하는 경우가 많습니다. 이로 인해 비용이 늘어나고 개발 시간이 연장될 수 있습니다. 또한, 개발자는 인증 및 타이밍 프로토콜과 같은 추가 인프라 서비스를 구축하기 위해 리소스를 할당해야 하므로, 예산에 더욱 부담이 됩니다.
미디어용 Holoscan은 클라우드 네이티브 아키텍처를 갖추어 애플리케이션이 어디서나 실행될 수 있습니다. 클라우드, 엣지 또는 온프레미스 배포용으로 개발한 애플리케이션을 여러 환경에서 실행할 수 있으므로 별도의 빌드가 필요하지 않습니다.
미디어용 Holoscan은 현재 온프레미스에서 사용할 수 있으며, 클라우드 및 엣지 배포는 곧 출시될 예정입니다. 이 플랫폼에는 라이브 방송에서 오디오-비디오를 동기화하기 위한 정밀 시각 프로토콜과 애플리케이션 사이의 원활한 통신을 위한 NMOS(Networked Media Open Specification)도 포함되어 있어 복잡한 시스템의 관리를 간소화합니다.
RTX AI PC 및 워크스테이션을 통한 개발 향상
NVIDIA RTX AI PC 및 워크스테이션은 몰입형 미디어 경험을 개발할 수 있는 강력한 토대를 제공하여 미디어용 Holoscan의 잠재력을 보완합니다.
RTX AI PC 및 워크스테이션에서 사용할 수 있는 CUDA 생태계는 미디어 및 AI 워크로드에 최적화된 다양한 NVIDIA SDK 및 도구에 대한 액세스를 제공합니다. 이를 통해 개발자는 워크스테이션에서 배포 환경으로 원활하게 전환될 수 있는 애플리케이션을 구축하고, 완성된 제품의 견고성과 확장성을 모두 보장할 수 있습니다.
NVIDIA AI Enterprise는 AI 애플리케이션을 위한 안전하고 안정적이며 확장 가능한 프로덕션 환경을 필요로 하는 엔터프라이즈 개발자에게 NVIDIA GPU에 최적화된 포괄적인 AI 소프트웨어, 도구 및 프레임워크를 제공하므로, 개발자가 추가적인 향상을 경험할 수 있습니다. 이 엔터프라이즈급 AI 플랫폼에는 배포를 간소화하는 TensorFlow, PyTorch, RAPIDS와 같은 인기 있는 프레임워크가 포함되어 있습니다.
NVIDIA AI Enterprise를 사용하면 개발자가 컴퓨터 비전, 자연어 처리(NLP), 추천 시스템과 같은 고급 AI 기능을 미디어 애플리케이션에 직접 구축할 수 있습니다. 미디어 워크플로우 내에서 정교한 AI 모델을 프로토타이핑, 테스트 및 배포할 수도 있습니다.
9월 13일부터 16일까지 열린 IBC에서 미디어용 Holoscan가 선보였는데요, 여러 NVIDIA 파트너가 최신 RTX AI 기반 비디오 편집 도구 및 기술을 선보였습니다.
편집 워크플로우를 간소화하는 AI 기능을 도입한 Blackmagic Design의 DaVinci Resolve 19 Studio가 출시되었습니다.
- IntelliTrack AI는 편집 과정 동안 영상을 빠르고 쉽게 안정화할 수 있도록 지원합니다. DaVinci Resolve의 Fairlight 도구에서 사용하면, 화면 속 개체를 추적하여 2D 및 3D 공간에서 개체가 움직일 때 자동으로 오디오 패닝을 생성할 수 있습니다. 이 AI 기반 기능을 통해 편집자는 스테레오 필드에서 오디오를 빠르게 패닝하거나 이동시켜 믹스 환경에서 여러 행위자의 음성 위치를 제어할 수 있습니다.
- UltraNR은 DaVinci Resolve의 공간 노이즈 감소 팔레트에 있는 AI 가속 노이즈 제거 모드입니다. 편집자는 이 기능을 사용하여 이미지의 선명도를 유지하면서 프레임에서 디지털 노이즈(원치 않는 색상 또는 디테일을 모호하게 하는 휘도 변동)를 획기적으로 줄일 수 있습니다. 이 도구를 순간 노이즈(temporal noise) 감소와 결합하여 변동이 더 두드러질 수 있는 움직임이 있는 이미지에서 노이즈를 더욱 효과적으로 제거할 수도 있습니다.
- RTX Video Super Resolution은 AI를 사용하여 저해상도 비디오를 선명하게 만듭니다. 이 기능은 압축 아티팩트를 감지하고 제거하여 저화질의 비디오를 크게 향상할 수 있습니다.
- RTX Video HDR은 AI 강화 알고리즘을 사용하여 표준 다이내믹 레인지 비디오를 생생한 HDR10 색 공간으로 리매핑합니다. 이를 통해 비디오 편집자는 HDR로 녹화할 수 있는 카메라가 없더라도 HDR 콘텐츠를 제작할 수 있습니다.
IntelliTrack 및 UltraNR은 NVIDIA RTX PC 및 워크스테이션에서 실행할 때 성능이 향상됩니다. NVIDIA TensorRT를 통해 GeForce GTX 4090 노트북에서는 Macbook Pro M3 Max에서보다 최대 3배 더 빠르게 실행될 수 있습니다.
모든 DaVinci Resolve AI 효과는 RTX GPU에서 TensorRT를 통해 가속화됩니다. 이 Resolve 업데이트에는 뷰티, 엣지 감지 및 수채화 효과를 위한 GPU 가속화가 포함되어 있어 NVIDIA GPU에서 성능이 두 배로 향상됩니다.
또한, 이 업데이트에는 NVENC를 활용하여 HEVC 인코딩 효율을 10% 향상하는 NVIDIA의 H.265 UHQ(Ultra-High-Quality) 모드가 도입되었습니다.
픽셀 퍼펙트 파트너: Topaz Video AI와 Adobe After Effects
올해 Topaz Labs는 비디오 AI를 위한 Adobe After Effects 플러그인을 출시했습니다. 비디오 업스케일링 및 프레임 보간을 위한 선도적인 솔루션인 이 플러그인은 모든 향상 및 프레임 보간 모델을 업계 표준 모션 그래픽 소프트웨어에 직접 통합합니다.
사용자가 다른 도구 간에 대용량 파일을 전송할 필요 없이 After Effects 구성 안에서 AI 업스케일링 도구에 액세스할 수 있으므로 더 큰 유연성과 더 빠른 창작을 경험할 수 있습니다.
Topaz Video AI의 백미는 영상을 최대 16배 슬로우 모션으로 변환할 수 있는 Topaz의 Apollo AI 모델을 사용하여 드라마틱한 슬로우 모션 비디오를 제작할 수 있는 기능입니다.
이 플러그인은 업스케일링에도 뛰어나므로, 품질을 손상시키지 않고 저해상도 애셋을 대규모 프로젝트에 통합하는 데 이상적입니다. 여기에는 4배 업스케일링을 위한 Rhea 모델과 같은 Topaz의 모든 향상 모델이 포함되어 있습니다. Adobe의 블로그를 확인하여 After Effects 플러그인 및 사용 방법에 대해 자세히 알아보세요.
속도를 위해 구축된 이 플러그인은 AI 성능을 최대 70% 향상하는 NVIDIA TensorRT를 통해 RTX GPU에서 가속화됩니다. 향후 Video AI 업데이트에서는 앱 설치 시 필요한 AI 모델 파일 수를 대폭 줄이는 등 추가적인 TensorRT 성능 향상 및 효율성 최적화가 이루어질 예정입니다.
AI의 빠른 통합을 통해 방송의 미래가 그 어느 때보다 밝고 혁신적일 것으로 기대됩니다.