여러분의 게임 스크린에 멋진 그래픽을 제공하는 GPU가 인공지능(AI)의 힘으로 게임과 영화를 더욱 신속하고 저렴하게 제작하는 동시에 사용자 경험은 보다 풍부하게 구현하는 데에 활용될 예정입니다.
엔비디아는 7월 마지막 주에 개최된 시그라프 2017(SIGGRAPH 2017)에서 실제 사람의 얼굴을 보다 간편하게 애니메이션화하고, 특정 장면에서 빛과 표면의 상호작용을 시뮬레이션하며, 실사 이미지를 보다 신속하게 렌더링하는 방법에 대한 연구를 발표했습니다.
엔비디아는 컴퓨터 그래픽에서의 오랜 역사에 AI 전문성을 결합하여 게임, 가상현실(VR), 영화, 그리고 제품디자인용 3D 그래픽을 발전시키고자 합니다.
엔비디아, 레미디 엔터테인먼트와의 협력
게임 스튜디오들은 배우들이 게임 캐릭터의 대사를 연기하는 모습을 모두 녹화해서 그것을 기반으로 애니메이션 얼굴을 만듭니다. 이들은 녹화된 영상을 배우의 디지털 대역으로 전환하고, 얼굴을 애니메이션화하기 위해 소프트웨어를 활용하는데요.
기존 소프트웨어의 경우, 디지털화된 얼굴을 실제 배우의 얼굴과 더욱 유사하게 만들기 위해 아티스트들은 수백 시간의 공을 들여야 합니다. 아티스트 입장에서는 지루하고, 스튜디오에는 비용 부담이 큰 작업인데요. 작업이 한번 끝나고 나면 수정도 어렵습니다.
얼굴 애니메이션 작업에 들어가는 노동력을 줄일 수 있다면 게임 아티스트들은 게임 캐릭터의 대화를 늘리고, 조연 캐릭터도 추가할 수 있으며 스크립트 변경에도 신속하게 대처할 수 있는 유연성을 얻게 됩니다.
레미디 엔터테인먼트(Remedy Entertainment)는 ‘퀀텀 브레이크(Quantum Break)’, ‘막스 페인(Max Payne)’, ‘알란 웨이크(Alan Wake)’ 등의 게임으로 잘 알려진 게임 제작사인데요. 레미디 엔터테인먼트는 보다 적은 노력과 비용으로 디지털 대역의 실사형 얼굴 애니메이션 제작 지원을 위한 아이디어를 얻기 위해 엔비디아 연구팀(NVIDIA Reserch)과 손을 잡았습니다.
AI로 만든 게임 캐릭터 얼굴
사울리 레인(Sauli Laine), 테로 카라스(Tero Karras), 티모 아일라(Timo Aila), 야코 레티넨(Jaakko Lehtinen)을 비롯한 엔비디아 연구진은 레미디 엔터테인먼트의 방대한 애니메이션 데이터와 엔비디아의 GPU, 그리고 딥 러닝 기술을 사용해서 배우의 동영상에서 바로 얼굴 애니메이션을 제작하기 위해 뉴럴 네트워크를 트레이닝 했습니다.
엔비디아의 솔루션은 노동 집약적인 데이터 전환이나 배우 동영상의 터치업(touch-up)을 수행하는 대신, 단 5분 내로 데이터를 트레이닝합니다. 트레이닝된 네크워크는 간단한 동영상 스트리밍을 통해 전체 게임에 필요한 모든 얼굴 애니메이션을 자동적으로 생성해냅니다. 이와 같이 엔비디아의 AI 솔루션은 기존 방법과 동일한 수준의 충실도를 유지하면서 더욱 향상된 일관성을 보여주는 애니메이션을 제작합니다.
연구진은 여기서 한발 더 나아가, 오디오만 사용해서 실사형 얼굴 애니메이션을 만들도록 시스템을 트레이닝 했습니다. 이 툴을 통해 게임 스튜디오들은 조연 캐릭터를 늘리고, 애니메이션 캐릭터에 생동감을 더하고, 여러 언어로 더 쉽게 게임을 제작할 수 있을 전망입니다.
게이밍의 새로운 시대 앞에서
안티 헤르바(Antti Herva) 레미디 엔터테인먼트의 수석 캐릭터 테크니컬 아티스트(Technical Artist, 이하 TA)는 새로운 기법 덕분에 앞으로 레미디 엔터테인먼트가 현재 수준 보다 더 많은 캐릭터를 갖춘 더 방대하고 풍부한 게임 세계를 구축할 것이라고 말합니다. 이미 레미디 엔터테인먼트는 고품질의 얼굴 애니메이션 제작에 소요되는 시간을 과거에 비해 많이 단축해냈습니다.
헤르바 TA는 “엔비디아 연구팀의 AI 구동 얼굴 애니메이션 작업을 보면 인공지능이 콘텐츠 창작에 혁명을 일으키리라는 확신이 듭니다. ‘퀀텀 브레이크’와 같은 게임에서 디지털 대역의 복잡한 얼굴 애니메이션을 만들려면 몇 년이 걸립니다. 하지만 레미디 엔터테인먼트가 엔비디아와 함께 얼굴 애니메이션을 위한 동영상 및 오디오 구동 딥 뉴럴 네트워크(DNN)를 구축한 후에는 대형 프로젝트에 걸리는 시간을 80% 가량 단축하여 아티스트들이 다른 작업에 집중하는 자유도를 누릴 수 있습니다”라고 설명했습니다.
AI로 이미지 생성
인공지능은3D 그래픽 렌더링 부문에서도 전망이 밝은데요. 3D 그래픽 렌더링은 디지털 세계를 스크린에서 보는 실사와 같은 이미지로 전환시키는 과정입니다. 영화 제작사들과 디자이너들은 가상의 장면에서 표면에 반사되는 빛을 시뮬레이션 하기 위해서 레이 트레이싱(ray tracing)이라는 기법을 사용합니다. 엔비디아는 레이 트레이싱과 컴퓨터 게임에 사용되는 비용 효과적인 방법인 래스터라이제이션(rasterization)를 개선하기 위해 인공지능을 사용하고 있습니다.
레이 트레이싱은 현실성이 높은 이미지를 만들어내지만 각 이미지 마다 수백만에 달하는 가상의 광선을 시뮬레이션을 하기 위해서는 엄청난 연산 비용이 듭니다. 그리고 연산이 완전하지 않은 이미지는 조도가 아주 낮은 곳에서 찍힌 사진처럼 노이즈가 많이 생기지요.
연구진은 이미지의 노이즈를 제거하기 위해 GPU로 딥 러닝을 구동하여 부분적으로 완성된 결과물로 최종 렌더링 결과를 예측했습니다.
차크라바티 R. 알라 차이타니아(Chakravarty R. Alla Chaitanya) 맥길 대학(McGill University) 엔비디아 인턴 연구원을 비롯한 엔비디아 연구팀은 기존 방법에 비해 단시간 내에 노이즈가 있고, 유사한 인풋 이미지로부터 고품질의 이미지를 생성하는 AI 솔루션을 만들었습니다.
이와 같은 작업은 연구 프로젝트 단계를 넘어서 곧 상품화될 예정입니다. 오늘 엔비디아는 레이 트레이싱 엔진 최신버전인 OptiX 5.0 소프트웨어 개발 키트를 발표했습니다. OptiX 5.0은 엔비디아 리서치AI 디노이징 기술을 접목했으며, 11월 중으로 등록된 개발자에 한해 무료로 공개될 예정입니다.
AI로 계단 현상 없애기
엔비디아 연구팀은 안티앨리어싱(anti-aliasing)이라고 불리는 컴퓨터 게임 렌더링 문제를 해결하기 위해 인공지능을 사용했습니다. 부분적으로 렌더링된 이미지는 가장자리가 매끄럽지 않고 계단처럼 톱니 같은 모양이 생기는데요, 안티앨리어싱은 이런 노이즈를 줄이는 방법입니다. (아래 왼쪽 이미지를 참고해 주세요)
엔비디아 연구원인 마르고 살비(Marco Salvi)와 앤줄 패트니(Anjul Patney)는 뉴럴 네트워크가 이 현상을 인식하고 노이즈 현상을 보이는 픽셀들을 안티앨리어싱된 매끈한 픽셀로 대체할 수 있도록 트레이닝했습니다. AI 기반 기술은 기존 알고리즘 보다 더 선명한 이미지를 만들어냅니다.
AI 기반 레이 트레이싱
엔비디아는 가상의 광선을 보다 효율적으로 트레이싱할 수 있는 방법을 개발 중입니다. 컴퓨터는 실제 사진과 같은 이미지를 만들기 위해 수많은 광선의 경로를 샘플링 하는데요. 문제는 이 경로들이 최종 이미지 산출에 모두 도움이 되지는 않는다는 점입니다.
연구원인 켄 다음(Ken Daum)과 알렉스 켈러(Alex Keller)는 광선 경로 선택을 안내하기 위해 머신 러닝을 사용했습니다. 연구진은 광선 트레이싱의 수학과 인공지능의 강화 학습(reinforcement learning) 개념을 연결시켜 이를 달성했답니다.
이들의 솔루션은 가상 카메라로 광선을 연결할 가능성이 큰 “유용한” 경로와 이미지에 기여하지 않는 빛의 경로를 구별하는 방법을 학습했습니다.
*블로그 상단의 이미지는 엔비디아 연구팀이 시그라프 2017에서 발표한 연구논문에 등장합니다. 연구진은 AI를 통해 부분 렌더링 된 이미지(왼쪽)를 최종 이미지(우측)로 전환시켜 이미지 합성을 가속화시켰습니다.