이번 주말 열릴 아카데미 시상식에서 두 차례 오스카상 후보에 노미네이트 된 바 있는 루키들이 참석할 예정입니다. 바로 AI를 이용한 화려한 시각효과를 구현한 두 작품입니다.
시각효과부문 후보작인 ‘아이리시맨(The Irishman’)과 ‘어벤져스:엔드게임(Avengers: Endgame)’은 AI를 이용해 실제 배우와 디지털 캐릭터 간의 경계를 넘어섰습니다. 아이리시맨의 경우, 디에이징(de-aging) 효과로 배우들의 젊은 시절 모습을 그려냈고, 어벤져스는 악명높은 빌런 타노스를 생생하게 구현했습니다.
이처럼 AI를 활용한 획기적인 스토리텔링은 엔비디아 쿼드로(Quadro) RTX GPU로 제작 속도를 가속화한 두 곳의 VFX 스튜디오, 인더스트리얼 라이트 앤 매직(Industrial Light & Magic, ILM)과 디지털 도메인(Digital Domain)이 있기에 가능했습니다.
AI 타임머신
제 2차 세계대전에서 2000년대의 양로원의 모습, 그리고 그 사이 모든 시간을 그린 넷플릭스의 아이리시맨은 살인 청부업자 프랭크 시런(Frank Sheeran)의 이야기를 주인공의 인생 속 다양한 장면들을 통해 풀어나갑니다.
세 명의 주인공인 로버트 드니로(Robert DeNiro), 알 파치노(Al Pacino), 조 페시(Joe Pesci)는 모두 70대입니다. 아이리시맨 분장팀은 세 배우의 모습을 20대나 30대처럼 보이게 하기가 현실적으로 어렵다고 판단했습니다. 마틴 스콜세지(Martin Scorcese) 감독은 영화를 촬영할 때 연기몰입을 방해하는 모션 캡처용 마커를 비롯한 장치들을 사용하는 것을 꺼려했습니다.
그래서 ILM은 3D 기하학적 데이터와 질감을 촬영하기 위해 두 대의 적외선 카메라를 장착한 감독용 카메라, 총 3대의 카메라로 이뤄진 새로운 장치를 개발해 세트에서 배우들의 연기를 촬영했습니다. 또 AI를 이용해 배우가 과거 연기했던 모습을 담은 수천 장의 이미지를 면밀하게 확인하는 ILM 페이스파인더(Facefinder)라는 소프트웨어를 개발했습니다.
ILM 페이스파인더는 렌더링 되는 장면의 카메라 각도, 프레이밍, 조명, 표현 등과 일치하는 프레임을 찾아, ILM 아티스트들이 촬영된 장면의 모든 프레임과 비교할 수 있는 참고자료로 제공합니다. ILM은 이 시각자료를 이용해 각 배우를 위해 만든 디지털 대역의 완성도를 높이는데 사용하고, 영화 속 장면에 맞는 배우의 나이에 맞게 디지털 대역의 모습을 조절했습니다.
ILM의 아이리시맨 VFX 관리자인 파블로 헬만(Helman)은 “AI와 머신러닝은 ILM의 모든 VFX 작업에 사용되고 있습니다. 여기에 엔비디아 쿼드로 RTX GPU를 함께 사용하면 향후 10년가 우리가 어떤 효과를 구현 가능하게 될지 상상만해도 설렙니다”라고 말했습니다.
한층 더 향상된 VFX 빌런 만들기
역대 최고 수익을 올린 영화, 마블의 어벤져스: 엔드게임에는 시각 효과가 적용된 장면이 2,500개 이상 포함됐습니다. 디지털 도메인의 VFX 팀은 머신 러닝을 이용해 배우 조시 브롤린(Josh Brolin)의 연기를 영화 속 우주 최강 빌런인 타노스에 입혔습니다.
배우의 연기와 얼굴의 움직임을 저해상도로 스캔해 타노스의 얼굴을 딴 고해상도 메시(mesh)에 정확하게 적용하는 마스커레이드(Masquerade)라는 머신 러닝 시스템도 개발됐습니다. 마스커레이드가 없었다면, VFX 아티스트들이 미묘한 얼굴 움직임을 수작업으로 애니메이션화해 사실적이고 감정을 과장되게 연기하는 디지털 인간을 생성하는데 매우 많은 시간을 쏟아야 했을 것입니다.
디지털 도메인의 디지털 휴먼 총괄인 데런 핸들러(Darren Handler)는 “이 과정의 핵심은 배우의 감정연기를 사실적인 그래픽으로 즉각적으로 렌더링해 미리 볼 수 있다는 것입니다. 엔비디아 GPU 기술 덕분에 가능했습니다. 디지털 도메인에서는 엔비디아 RTX 기술을 사용해 실시간 레이 트레이싱이 적용된 모든 디지털 휴먼 프로젝트를 추진하고 있습니다”라고 말했습니다.
RTX를 사용하는 포스트 스튜디오와 AI로 가속화된 VFX를 적용하는 앱
ILM과 디지털 도메인은 엔비디아 RTX GPU로 가속화된 AI 도구를 채택하고 있는 현재 증가하고 있는 시각효과 스튜디오와 앱 중 두 곳에 불과합니다.
HBO의 ‘의로운 젬스톤 가족(The Righteous Gemstones)’ 시리즈에서 주인공 존 굿맨(John Goodman)은 실제 나이보다 30년가량 젊어 보입니다. 이 드라마에서는 AI를 이용해 얼굴의 움직임을 분석하는 쉐이프쉬프터(Shapeshifter)로 디에이징 효과를 구현했습니다. 얼굴 근육과 뼈를 덮는 피부가 어떻게 늘어나고 이동하는지를 분석하는 것입니다.
VFX 스튜디오 그라디언트 이펙트(Gradient Effects)는 쉐이프쉬프터를 이용해 배우의 얼굴을 변형했습니다. 엔비디아 GPU를 사용해 구현된 이 과정은 수개월이 아닌 수 주에 걸쳐 이뤄졌습니다.
어도비(Adobe), 오토데스크(Autodesk), 블랙매직 디자인(Blackmagic Design)과 같은 기업들은 RTX로 가속화된 앱을 개발해 AI로 시각효과를 구현하기 어려운 부분들을 공략했습니다. 예를 들면, 라이브 액션신 깊이 활용(live-action scene depth reclamation), 색감 보정, 재조명(relighting) 및 리터치, 시간재설정(retiming)과 업스케일링(upscaling)용 초고속 모션 예측(speed warp motion estimation) 등입니다.
넷플릭스, AI 기반 예측 사용 승인
화면 밖에서 넷플릭스와 같은 스트리밍 서비스는 AI로 구현된 추천엔진을 이용해 사용자의 시청 내역에 기반한 개인맞춤형 콘텐츠, 또는 사용자와 유사한 시청습관을 갖고 있는 다른 사용자들이 시청한 유사도 지수를 제공합니다.
넷플릭스는 또 개별 사용자에게 어필하기 위해 개인 맞춤형 영화 섬네일을 제공하고, AI를 사용해 저대역폭에서 스트리밍 품질을 최적화합니다. 또, 엔비디아 GPU를 활용해 복잡한 데이터 모델을 사용한 작업을 가속화해 반복작업(iteration)을 가속화합니다.
GTC 2020에서 세계 최고의 VFX 스튜디오의 강연을 들으세요
오는 3월 23일에서 3월 26일까지 미국 캘리포니아주 새너제이에서 열리는 엔비디아 GPU 기술 컨퍼런스(GPU Technology Conference)에서 루카스필름(Lucasfilm)의 ILMxLAB, 매그노푸스(Magnopus), 디지털 도메인을 비롯한 세계 최고의 스튜디오들이 강연을 펼칠 예정입니다.
미디어, 엔터테인먼트 토크 라인업을 확인하고 참석 등록 하세요. 얼리버드 혜택은 2월 13일 까지입니다.