엔비디아의 실시간 인공지능(AI) 아트 애플리케이션 ‘고갱(GauGAN)’이 시그라프(SIGGRAPH) 2019에서 2개 부문의 상을 수상했습니다.
아마추어 작가부터 유명 디지털 아티스트에 이르는 많은 크리에이터들이 고갱을 통해 작품을 창조해내고 있습니다. 고갱은 시그라프 프로패셔널 그래픽 컨퍼런스에서 시연되며 큰 호응을 이끌며, 시그라프 컨퍼런스의 실시간 라이브 콘테스트에서 ‘베스트 오브 쇼(Best of Show)’와 ‘오디언스 초이스(Audience Choice) 부문을 수상했습니다. 엔비디아의 류밍유(Ming-Yu Liu), 크리스 헤버트(Chris Hebert), 가브리일 클림로프(Gavriil Klimov) 연구원과 UC 버클리의 박태성(Taesung Park) 연구원은 고갱 앱을 선보이며 박수 갈채를 받았답니다.
대략적인 스케치를 놀랍고 사실적인 장면으로 바꿔주는 이 AI 페인팅 웹 앱은 엔비디아 리서치(NVIDIA Research)를 생성적 적대 신경망(GAN, generative adversarial networks)을 기반으로 실연하기 위해 개발됐습니다.
한 달 전 베타 버전이 공개됐을 때부터 엔비디아 AI 플레이그라운드(NVIDIA AI Playground)에서는 고갱을 통해 50만 개 이상의 이미지가 생성됐습니다. 최고의 영화 스튜디오와 비디오 게임 업체의 아트 디렉터와 컨셉 아티스트들은 아이디어를 프로토타입하고 합성 장면을 빠르게 변경하는 도구로 고갱을 이미 활용하고 있죠.
스타워즈, 트랜스포머, 어벤져스 등의 작품에 참여한 수석 컨셉 아티스트 겸 모델러인 콜리 워츠(Colie Wertz)는 “고갱은 불쑥 나타나 전혀 예상치 못했던 방향으로 영감을 주었습니다. 이전에는 상상조차 하지 못했던 것을 쉽게 구현해 낼 수 있었죠”라고 말했습니다. 워츠는 최근에 고갱 랜드스케이프(GauGAN landscape)를 기반으로 공상 선박 디자인을 개발해 소셜 미디어에 공유했습니다.
워츠는 “몇 번의 붓놀림을 통해 실시간으로 작업이 업데이트되는 것은 정말 놀랍습니다. 이는 컨셉 디자인에 접근하는 방식을 재검토하게 하죠”라며, 엔비디아 RTX GPU로 작업한 소감을 말했답니다.
이번 시그라프 컨퍼런스 참석자들은 엔비디아 부스에서 고갱을 직접 체험해 볼 수 있었는데요. 고갱은 엔비디아 텐서 코어(Tensor Cores)를 장착한 쿼드로(Quadro) RTX GPU가 탑재된 HP RTX 워크스테이션에서 운영됐습니다.
사용자들은 고갱을 통해 제작한 작품을 공유하고 해시태그 #SIGGRAPH2019, #GauGAN, @NVIDIA Design를 입력해 AI 아트 콘테스트에 참가할 수 있습니다. 콘테스트의 심사위원은 콜리 워츠이며, 우승자에게는 엔비디아 쿼드로 RTX 6000 GPU가 수여됩니다.
예술 작품을 창조하는 AI 아티스트 고갱
후기 인상주의 화가 폴 고갱의 이름을 딴 고갱(GauGAN)은 장면의 레이아웃을 묘사하는 레이블이 지정된 스케치인 분할 지도(segmentation map)로부터 포토리얼리스틱 이미지를 제작하는 애플리케이션입니다.
사람들은 페인트브러쉬와 페인트 버킷 툴을 통해 강, 풀, 바위, 구름을 포함한 라벨로 자신만의 풍경을 디자인할 수 있습니다. 스타일 트렌스퍼(style transfer) 알고리즘은 크리에이터들이 필터를 적용하거나 생성된 이미지의 색상 구성을 수정하거나 포토리얼리스틱 장면을 그림으로 전환할 수 있게 합니다.
류밍유 엔비디아 연구원은 “이미지 합성 작업을 하는 연구원으로서 정확도와 해상도가 높은 이미지를 만들기 위해 항상 새로운 기술을 추구하고 있습니다. 우리 프로젝트의 목표죠”라고 설명했습니다.
미국 실리콘벨리에서 열린 GTC 행사에서 고갱의 데모가 소개됐을 때, 그 진가가 드러났죠. 관람객들은 전시된 태블릿을 통해 태양 아래로 쏟아지는 바다 풍경에서부터 구름으로 덮인 목가적인 산맥에 이르기까지 모든 장면을 멋지게 연출할 수 있었습니다.
이번 시그라프에서 전시된 최신 애플리케이션을 통해 사용자들은 완벽한 일몰 사진 혹은 좋아하는 화가의 스타일을 모방하는 등 자신만의 창조물 위에 필터를 씌우고 이를 업로드 할 수 있었습니다. 뿐만 아니라 사용자들은 자신의 풍경 이미지를 올릴 수도 있었죠. AI는 분할 지도를 통해 소스 이미지를 변환하며 이는 사용자 예술작품의 기초로 사용됩니다.
류 연구원은 “우리는 연구에 영향을 주고 싶습니다. 이는 사람들이 AI가 없었으면 불가능했을 예술 작품을 창조하고 창의력을 발휘할 수 있는 창구를 만들었죠. 사람들의 상상력을 실현시켜 주고 있는 것입니다”라고 말했습니다.
연구자들은 게임 개발자, 조경 디자이너, 도시 계획자들이 이 기술의 혜택을 누릴 것으로 예상했지만 고갱은 환자를 치료하고 스트레스를 완화하는 툴에 활용되는 등 훨씬 더 광범위하게 보급됐습니다.
상상력을 사로잡는 AI
파이토치(PyTorch) 딥 러닝 프레임워크(deep learning framework)를 통해 개발된 고갱의 뉴럴 네트워크(neural network)는 엔비디아 DGX-1 딥 러닝 시스템을 이용해 100만 개 이상의 이미지를 학습했습니다. GTC에서 전시된 데모는 엔비디아 타이탄(TITAN) RTX GPU에서 실행됐으며 웹 애플리케이션은 아마존웹서비스(AWS)를 통해 엔비디아 GPU에서 호스팅됐습니다.
류 연구원은 박태성, 왕팅춘(Ting-Chun Wang), 주옌쥔(Jun-Yan Zhu) 연구원과 함께 딥 뉴럴 네트워크와 애플리케이션을 개발했습니다. 이들은 고갱의 뉴럴 네트워크에 대한 소스 코드를 공개해 다른 개발자가 비상업적인 용도에서 해당 애플리케이션을 실험하고 구축할 수 있도록 했죠.
고갱 데모는 엔비디아 AI 플레이그라운드에서 직접 체험해볼 수 있으며, 관련 영상은 https://youtu.be/NKFrg9HMYaY에서 확인할 수 있습니다.