새롭게 맞춘 안경을 처음 써보면 마치 세상이 순식간에 선명하게 보이게 되는 것 같은 느낌을 받을 수 있습니다.
나무를 보면 나뭇잎이 갑자기 뚜렷하게 보이고 얼굴의 잔주름과 주근깨도 보이죠. 책을 보면 주석이 보이고 길가의 표지판을 보고 도로의 이름도 읽을 수 있게 됩니다.
저해상도 미디어를 고해상도 미디어로 전환하는 것을 뜻하는 업스케일링은 이와 유사한 경험을 선사합니다..
AI 업스케일링 기술을 사용하면 사진과 영상 등 다양한 시각자료들이 그 어느 때보다 선명하고 사실적으로 보이게 되죠.
왜 업스케일링이 필요할까요?
미국에 TV를 보유한 가정 중 3분의 1이 4K의 초고화질 TV를 갖고 있습니다. 하지만 유튜브, HBO, 넷플릭스 같은 인기 스트리밍 서비스의 콘텐츠들은 대부분 저해상도 영상으로만 이용 가능합니다.
4K TV는 저해상도 이미지를 화면에 맞게 늘려야 하기 때문에 영상이 흐리게 보일 수 있습니다. AI 업스케일링을 사용하면 저해상도 이미지가 그 어떤 방식보다 더 선명한 화질을 유지하면서 화면에 맞게 조절될 수 있습니다. 할 수 있습니다.
1990년대까지 TV에서 많이 사용된 SD(Standard Definition,표준화질)급 영상의 경우, 해상도가 단 480 픽셀에 지나지 않았습니다. 그러나 고화질 TV가 도입되면서 해상도가 720 픽셀에서 1080 픽셀로 높아졌죠. 이 해상도는 현재 TV나 인터넷에서 가장 흔히 쓰이는 해상도입니다.
초고화질 디스플레이 사용자는 4K 마스터링 콘텐츠를 시청할 때 디스플레이를 최대한 활용할 수 있습니다. 저해상도 콘텐츠를 볼 때는 영상을 업스케일링해 디스플레이에 맞도록 해야 합니다.
예를 들어, 풀 HD라고 알려진 1080p 이미지는 4K 이미지 대비 4분의 1 분량의 픽셀이 있습니다. 4K 화면에서 엣지에서 엣지로 촬영된 1080p 영상을 틀려면 TV의 픽셀에 맞게 영상을 늘려야 합니다.
업스케일링은 스마트 TV나 스트리밍 미디어 플레이어와 같은 현재 사용 중인 스트리밍 디바이스를 통해 이뤄집니다. 하지만 대체로 미디어 플레이어는 4K TV에 맞게 고화질 콘텐츠를 크게 개선할 수 없는 기본 업스케일링 알고리즘을 사용하죠.
기본 업스케일링이란?
기본 업스케일링은 저해상도 이미지를 더 큰 디스플레이에 맞게 확대할 수 있는 가장 간단한 방법입니다. 저해상도 이미지의 픽셀들을 복사하고 이를 반복해 더 큰 해상도의 디스플레이의 픽셀들을 채우는 방식이죠.
이미지를 늘리는 과정으로 인해 생길 수 있는 울퉁불퉁한 가장자리를 부드럽게 만들기 위해 필터링이 적용됩니다. 그렇게 하면 4K 디스플레이에 맞게 이미지를 조절할 수 있지만, 색상이 바래거나 흐릿하게 보일 수 있습니다.
AI 업스케일링이란?
AI 업스케일링 방식은 이와 다릅니다. AI 업스케일링을 할 때는 딥 러닝 모델이 저해상도 이미지를 보고 그 이미지가 다운스케일 됐을 때 원래의 저해상도 이미지처럼 보일 수 있는 고해상도 이미지를 예측합니다.
업스케일링된 이미지를 높은 정확도로 예측하기 위해서는, 수많은 이미지를 이용해 뉴럴 네트워크 모델을 훈련해야 합니다. 그 다음 실제 적용된 AI 모델이 저해상도의 영상을 통해 기존의 그 어떤 스케일러로도 생성해 낼 수 없는 놀라운 수준의 선명도와 디테일이 만들어지죠.. 이미지의 가장자리 선명도가 높아지고, 머리카락의 디테일이 더욱 선명해지며, 풍경의 모습도 더욱 뚜렷해지죠.
엔비디아 쉴드 TV를 이용한 AI 업스케일링
엔비디아 쉴드(SHIELD) TV는 AI 업스케일링을 선보인 최초의 스트리밍 미디어 플레이어입니다. 쉴드 TV로 720p나 1080p HD 콘텐츠를 실시간으로 초당 30프레임의 속도록 4K로 업스케일링 할 수 있습니다.
인기 TV 프로그램과 영화의 데이터세트를 이용해 오프라인에서 훈련을 받은 이 모델은 쉴드의 엔비디아 테그라(Tegra) X1+ 프로세서를 이용해 실시간 추론을 합니다. AI 업스케일링을 하면 HBO, 훌루(Hulu), 넷플릭스, 프라임 비디오, 유튜브 등 인기 앱의 HD 영상 콘텐츠를 4K TV에서 더욱 선명하게 볼 수 있어 영상의 몰입감이 높아집니다.
쉴드에서 “기본 업스케일링”과 “AI로 강화된 업스케일링”의 차이를 보려면 아래 이미지를 클릭해 슬라이더를 좌우로 이동하세요.
엔비디아 쉴드를 갖고 있는 분들은 자신의 디바이스 설정에서 기본 모드와 AI 강화 모드 중 선택할 수 있습니다. 데모 모드를 선택하면, 일반적인 콘텐츠와 AI 업스케일링 된 콘텐츠를 옆에 두고 비교할 수 있습니다. AI 업스케일링은 고/중/저 등 디테일 향상 수준에 맞게 조절할 수 있으며, 이런 기능을 활용하면 디테일 예측을 위한 뉴럴 네트워크에 대한 신뢰도를 조절할 수 있습니다.
업스케일링에 대한 보다 자세한 정보는 엔비디아 쉴드 TV에서 확인하세요