중국 북서부의 실크로드를 따라 위치한 문화적 교차로인 모가오 굴(Mogao Caves) 안에는 수만 개의 역사적 문헌, 그림, 불상이 모여 있습니다.
그리고 여기에서 거의 2,000마일 떨어진 중국 동부 지역에서 3D 아티스트 팅 송(Ting Song)은 RTX 기반 GPU와 NVIDIA Studio 제품군 일부와 함께 사용할 수 있는 물리적으로 정확한 3D 디자인 협업 플랫폼인 NVIDIA Omniverse의 도움으로, 모가오 굴 조각상 중 하나에 생명을 불어넣었습니다.
포브스30세 이하 30인 아티스트(Forbes 30 under 30 artist)에 선정된 팅 송은 AI와 전통 예술, 시, 드라마를 결합해 디지털 시대의 순수 예술 개념을 탐구합니다.
중국 베이징과 상하이를 오가며 활동하는 송은 중국의 고전 희곡 ‘모란정(The Peony Pavilion)’에서 영감을 받은 ‘모란몽(Peony Dream)’이라는 작품으로 중국 전역의 전통 미술관에서 경매된 최초의 디지털 예술 작품을 만들었죠.
그녀는 어도비 애프터 이펙트(Adobe After Effects)와 포토샵(Photoshop), 블렌더(Blender), 유니티(Unity) 소프트웨어를 Omniverse와 함께 사용하여 작품에 활력을 불어넣습니다.
인공지능 가속화
해커톤에 열심히 참가하며 아티스트로 성장한 팅 송은 12개 이상의 국가에서 해커톤을 주최하면서 최첨단 오픈소스 기술에 대한 사랑을 공유했는데요.
그녀는 이러한 행사에서 기술의 획기적인 사용 사례를 많이 보았고, 특히 AI를 예술과 창의성을 함양하기 위한 도구로 활용하는데 영감을 받았다고 합니다.
그녀의 최근 AI 기반 몰입형 다차원 예술 작품은 중국 전통 문화의 철학적, 미적 주제를 묘사하는 데 중점을 두고 있습니다.
송은 부처상을 재해석한 작품을 위해, 어도비 소프트웨어를 사용해 레이어를 만들고 NVIDIA StyleGAN2를 사용해 모가오 굴의 벽화 색상을 합성한 후 Omniverse로 가져와 “춤추게” 했다고 말했습니다.
송은 “기존의 많은 문화 창작물이 아직 3D 세계에 존재하지 않고 2D 세계에만 존재하기 때문에, 내 작품은 전통 예술 형식에 새로운 생명을 불어넣는 것을 목표로 합니다. Kaolin 이나 Audio2Face와 같은 NVIDIA Omniverse 앱과 NVIDIA DIB-R모델은 기존 창작을 넘어 가상 세계에서 새로운 경험을 창조하는 아티스트를 지원하고 있습니다”라고 말했습니다.
송은 자신이 가장 좋아하는 Omniverse 앱인 Kaolin을 사용하여 3D 데이터세트를 검사하고, 모델의 3D 출력을 시각화하며, 합성 데이터세트를 렌더링합니다. 송은 모델과 애니메이션을 블렌더와 유니티에서 Omniverse로 가져왔습니다.
그리고 오디오 소스에서 표정이 풍부한 얼굴 애니메이션을 빠르게 생성할 수 있게 해주는 앱인 Omniverse Audio2Face를 사용하여, 자신의 ‘모란몽’ 작품과 통합할 계획인 가상 시인 캐릭터를 애니메이션으로 만들었습니다.
송의 다음 데모에서 디지털 휴먼은 AI가 쓴 중국 시를 낭송합니다. “제비가 올 때 봄은 여전히 머무른다 / 빗줄기와 바람이 / 나무들을 적시고 / 젊음의 꽃 속에 현악기가 울려 퍼진다 / 태양은 빛나고 가사가 흐른다.”
송은 “극이나 시를 기반으로 한 예술적 개념을 디자인하고 적절한 기술 툴을 사용하여 제품화함으로써 진정한 인문학적 힘을 탐구하는 것은 모두 Omniverse를 통해 가능하게 되었습니다”라고 말했죠.
전통 작품에 활력을 불어넣는 것 외에도, 송은 종종 Omniverse에서 만든 뛰어난 시각적 표현을 기반으로 시나 대본도 쓰는데요.
송은 오픈소스 Omniverse 에코시스템의 빠른 반복, 협업 기능 그리고 몇 달이 걸리던 모델 훈련 시간을 절약해 주는 NVIDIA RTX 기술의 힘이 자신의 예술적 노력에 대한 “영감과 기술적 자신감”을 제공한다고 말했습니다.
송은 “내 작품이 사람들이 전통 문화 유산에 더 깊이 빠져들도록 영감을 주고, 인간의 고유한 창의적 재능을 드러내는데 돕는 도구로서 AI를 활용하도록 장려할 수 있기를 바랍니다”라고 말했습니다.
GTC에 참여하세요
팅 송의 작품은 3월 21일부터 24일까지 GTC의 AI Art Gallery와 AI Playground에서 전시될 예정입니다. GTG는 무료로 참석할 수 있으며 Omniverse 팀, 어도비, 오토데스크(Autodesk), 에픽게임즈(Epic Games), 픽사(Pixar), 유니티, 월트 디즈니 스튜디오(Walt Disney Studios) 등의 선도 기업이 참여하는 수십 개의 세션과 특별 이벤트가 마련되어 있습니다.
또한 크리에이터들은 NVIDIA Omniverse User Group과 Developer Days에서 서로 네트워킹하고 Omniverse 로드맵의 비하인드 스토리를 알아볼 수 있는 기회를 갖게 됩니다.
크리에이터와 개발자는 NVIDIA Omniverse를 무료로 다운로드하고 Omniverse YouTube 채널에서 단계별 튜토리얼을 시작할 수 있습니다. 추가 리소스와 영감을 얻으려면 인스타그램, 트위터, 미디엄에서 Omniverse를 팔로우하세요. Omniverse포럼을 방문하고, 디스코드 서버에서 커뮤니티와 채팅하세요.