편집자 주: 본 게시물은 AI에 대한 접근성을 높여 AI에 대한 이해를 돕고, RTX PC 및 워크스테이션 사용자를 위한 새로운 하드웨어, 소프트웨어, 도구 및 가속을 소개하는 AI Decoded 시리즈의 일부입니다.
오늘날 인터넷 대역폭의 거의 80%가 콘텐츠 제공업체와 소셜 네트워크의 동영상 스트리밍에 사용되고 있을 만큼, 동영상은 어디에나 있습니다. 화면이 점점 더 커지고 더 높은 해상도를 지원하지만 대부분의 동영상 화질이 1080p 이하입니다.
업스케일러는 스트리밍된 비디오를 선명하게 만들고, NVIDIA RTX 플랫폼의 AI를 기반으로 이미지 품질과 디테일을 크게 향상시킬 수 있습니다.
업스케일러는 무엇일까?
동영상은 파일 크기가 클수록 이미지나 텍스트에 비해 압축과 전송이 어렵습니다. Netflix, Vimeo, YouTube와 같은 플랫폼은 동영상의 원시 소스를 더 작은 컨테이너 형식으로 압축하는 과정인 동영상 인코딩을 통해 이러한 제약을 해결합니다.
인코더는 먼저 동영상을 분석하여 목표 해상도와 프레임 속도에 맞게 제거할 수 있는 정보를 파악합니다. 목표 비트 전송률이 충분하지 않으면 동영상 화질이 저하되어 디테일과 선명도가 불량해지고 인코딩 아티팩트가 발생합니다. 파일이 작을수록 인터넷에서 공유하기는 쉽지만 화질은 저하됩니다.
일반적으로 뷰어의 장치에 있는 소프트웨어는 디스플레이의 기본 해상도에 맞게 동영상 파일을 업스케일링합니다. 그러나, 이러한 업스케일러는 원하는 해상도를 충족시키기 위해 픽셀을 곱하기만 하는 매우 단순한 방식입니다. 개체와 장면의 윤곽을 선명하게 하는 데 도움이 될 수 있지만, 최종 동영상에는 일반적으로 인코딩 아티팩트가 포함되며 간혹 과도하게 선명하거나 부자연스럽게 보입니다.
더 나은 방법을 알고 있는 AI
NVIDIA RTX 플랫폼은 AI를 사용하여 동영상의 아티팩트를 간단하게 제거하고 업스케일링합니다.
AI 업스케일링 프로세스는 이미지와 모션 벡터를 분석하여 원본 동영상에 없는 새로운 디테일을 생성하는 것이 포함됩니다. 단순히 픽셀을 곱하는 대신, 이미지의 패턴을 인식하고 이를 개선하여 더 나은 디테일과 화질을 제공합니다.
이미지 처리를 시작하기 전에 먼저 이미지 아티팩트를 제거해야 합니다. 아티팩트 또는 동영상과 이미지 파일에 나타나는 원하지 않는 왜곡 및 이상 현상은 전송과 저장 중에 과압축하거나 데이터가 손실되어 발생합니다.
NVIDIA AI 네트워크는 이미지 아티팩트를 제거하여 스트리밍된 비디오에서 간혹 볼 수 있는 거친 부분을 제거하는 데 도움이 됩니다. 이 첫 번째 단계가 없으면 AI 업스케일러는 원하는 콘텐츠 대신 아티팩트 이미지 자체를 향상시킬 수 있습니다.
슈퍼 사이즈의 동영상
도수 안경을 착용하면 세상을 즉시 선명하게 볼 수 있는 것처럼, NVIDIA의 AI 강화 비디오 기술 혁신 중 하나인 RTX VSR(RTX Video Super Resolution)은 사용자에게 스트리밍된 동영상을 더 선명하게 제공합니다.
GeForce RTX 40 및 30 시리즈 GPU와 RTX 전문가용 GPU에서 사용할 수 있는 이 제품은 전용 Tensor 코어에서 실행되는 AI를 사용하여 블록 압축 아티팩트를 제거하고 사용자의 기본 디스플레이 해상도와 맞춰 저해상도 콘텐츠를 최대 4K까지 업스케일링합니다.
RTX VSR(RTX Video Super Resolution)은 브라우저에서 시청하는 모든 동영상을 향상시키는 데 사용할 수 있습니다. AI 업스케일링 기술로 아티팩트를 제거하면 낮은 비트 전송률의 Twitch 스트리밍도 놀랍도록 선명하게 만들 수 있습니다. RTX VSR(RTX Video Super Resolution)은 VLC와 같은 인기 동영상 앱에서도 지원되므로 사용자는 오프라인 동영상에 동일한 업스케일링 프로세스를 적용할 수 있습니다.
크리에이터는 Black Magic의 Davinci Resolve와 같은 편집 앱에서 RTX VSR(RTX Video Super Resolution)을 사용하여 저화질의 동영상 파일을 4K 해상도로 업스케일링하고 SDR 소스 파일을 HDR로 변환할 수 있습니다.
HDR(High-Dynamic Range) 영상을 경험해보세요
RTX Video는 이제 AI HDR도 지원합니다. HDR 동영상은 더 넓은 범위의 색상을 지원하며, 특히 이미지의 더 어두운 부분과 밝은 부분을 더욱 세밀하게 표현합니다. 문제는 아직 온라인에 HDR 콘텐츠가 많지 않다는 것입니다.
RTX Video HDR을 입력하면 이 기능이 켜져 AI 네트워크가 SDR 또는 LDR 콘텐츠를 HDR로 변환하여 올바른 톤 매핑을 수행하므로 이미지가 자연스럽게 보이고 원래 색상을 유지합니다.
전반에 걸쳐 활용되는 AI
RTX Video는 NVIDIA RTX를 기반으로 구동되는 AI 업스케일링의 최신 구현일 뿐입니다.
GeForce NOW 클라우드 스트리밍 서비스의 회원은 거의 모든 장치에서 좋아하는 PC 게임을 플레이할 수 있습니다. 다른 콘텐츠 제공업체의 동영상 스트리밍과 마찬가지로 전 세계에 위치한 GeForce RTX 서버가 먼저 게임 비디오 콘텐츠를 렌더링하고 인코딩한 다음 플레이어의 로컬 장치로 스트리밍합니다.
구형 NVIDIA GPU 기반 장치를 사용하는 회원도 AI 지원 업스케일링을 사용하여 게임 플레이 품질을 개선할 수 있습니다. 즉, 클라우드에서 RTX 4080급 GPU로 구동되는 서버로 렌더링되는 게임 플레이와 AI로 향상된 스트리밍 품질이라는 두 가지 장점을 모두 즐길 수 있습니다. GeForce NOW에서 AI로 강화된 업스케일링 사용에 대해 자세히 알아보십시오.
NVIDIA SHIELD TV는 이를 한 단계 더 발전시켜, NVIDIA Tegra 시스템 온 칩에서 직접 AI 신경망을 처리하여 거의 모든 스트리밍 플랫폼에서 1080p 화질 이하의 콘텐츠를 디스플레이의 기본 해상도로 업스케일링할 수 있습니다. 즉, 사용자는 리모컨 버튼을 누르면 Netflix, Prime Video, Max, Disney+ 등에서 스트리밍되는 콘텐츠의 비디오 품질을 개선할 수 있습니다.
AI는 동영상 품질을 전례 없이 개선하여 스트리밍 경험에 새로운 기준을 구축하고 있습니다.
생성형 AI는 게임, 화상 회의 및 모든 종류의 대화형 경험을 변화시키고 있습니다. AI Decoded 뉴스레터를 구독하고 AI 기술이 바꿀 현재와 미래의 모습을 확인하세요.