테드 토크(TED talk)에서 실시간 중계되는 강연을 펼친 최초의 디지털 휴먼, 디지더그(DigiDoug)를 만나보세요.
디지더그는 ‘벤자민 버튼의 시간은 거꾸로 간다’, ‘말레피센트’, 디즈니의 ‘미녀와 야수’, ‘어벤져스:엔드게임’ 등 숱한 헐리우드 영화의 시각효과를 담당해오며 각종 영화제에서 다수의 시각효과 상을 받기도 한 글로벌 VFX(시각특수효과) 스튜디오, 디지털 도메인의 소프트웨어 R&D 부문 선임감독인 더그 로블(Doug Roble) 박사의 가상 휴먼입니다.
로블 박사와 디지털 도메인의 디지털 휴먼 그룹(Digital Human Group)은 여러 행사에서 디지더그를 선보이며, 관성센서를 이용한 모션 캡쳐 스위트(inertial motion-capture suit)와 얼굴 애니메이션을 위한 단일 카메라 캡쳐 기술을 필두로 한 최첨단 디지털 휴먼 기술을 소개했습니다.
미국 로스앤젤레스에 위치한 디지털 도메인은 감정과 행동을 실시간으로 포착하고 재현하기 위해 머신 러닝과 실시간 렌더링이라는 보다 강력한 첨단기술을 도입했습니다.
엔비디아의 RTX 기술과 에픽 게임즈(Epic Games)의 언리얼 엔진으로, 디지털 도메인은 마치 사진과 같은 디지털 휴먼을 모두 실시간으로 제작하고 있습니다.
머신 러닝, 디지털 휴먼 개발의 숨은 조력자
영화나 TV에서 사실적인 디지털 휴먼을 만드는 일은 시각효과 분야의 최후의 개척지라고 할 수 있습니다. 어떤 인물의 세세한 신체적 특징을 모두 담고 있는 가상 인물을 만들려면, 수백명의 아티스트가 작업한다 해도 보통 수 천 시간이 걸립니다.
한편, 디지털 도메인은 머신 러닝을 통해 시간을 크게 단축하고 전례 없는 수준의 사진 같은 캐릭터를 제작할 수 있죠.
디지털 도메인은 디지더그를 제작하기 위해 자사 크리에이티브 프로세스에 머신 러닝을 도입했습니다. 하지만 이 기술을 구현하기 위해선 엄청난 양의 데이터가 필요했습니다. 그래서 디지털 도메인 팀은 우선 로블 박사의 얼굴을 여러 앵글, 다양한 밝기의 조명 상태에서 수천 장 촬영해 최대한 많은 데이터를 추출했습니다.
그리고 딥 뉴럴 네트워크를 이용해, 여러 표정과 세부적인 신체정보 등 로블 박사의 얼굴 정보를 추출해 학습했습니다. 딥 뉴럴 네트워크는 이 모든 정보를 연산해 디지더그가 진짜 사람처럼 움직이도록 했답니다.
이후, 엔비디아 RTX 기술과 에픽 게임즈가 공동 개발한 게임 엔진인 언리얼 엔진을 이용해 디지더그를 실시간 렌더링했습니다. 로블의 동작과 표정은 특수한 모션캡쳐 스위트와 카메라를 통해 포착됐습니다. 이 데이터는 머신 러닝 소프트웨어로 전송됐다가 실시간으로 디지털 휴먼의 모습으로 렌더링 됐습니다.
로블 박사는 “모든 디테일을 놓치지 않고 표현했기 때문에 디지털 휴먼이 사실적으로 보일 수 있습니다 . 머신 러닝의 장점은 학습을 통해서 이미지 퀄리티를 계속해서 높일 수 있다는 것입니다. 디지털 도메인은 엔비디아, 에픽 게임즈와 함께 가능한 가장 사실적인 디지털 휴먼을 만들 수 있는 기술을 구축하고 있습니다. 게다가 이 모든 과정이 실시간으로 이뤄지고 있죠”라고 말했습니다.
자세한 사항은 최근 시그라프(SIGGRAPH)에서 마블 스튜디오(Marvel Studios) 시각효과 담당 부사장 다니엘 코스타(Danielle Costa)가 진행한 패널 토론, ‘사진같이 생생한 실시간 디지털 휴먼의 발전(Progress Towards Real-Time, Photorealistic Digital Humans)’영상을 확인하세요. 로블 박사 외에도 엔비디아 그래픽 담당이사 사이몬 유엔(Simon Yuen)과 에픽 게임즈의 디지털 휴먼 담당 블라디미르 마스틸로빅(Vladimir Mastilovic)가 디지털 휴먼이 그간 걸어온 길과 앞으로 나아갈 방향에 대해 논의합니다.