반짝이는 호수에 투영된 눈 덮인 뾰족한 산봉우리의 모습. 초보 화가는 이런 멋진 일몰 풍경을 담아내기 위해 캔버스에 붓질을 합니다. 하지만 여러 색상의 물감이 덧대진 서투른 그림만 남게 되죠.
엔비디아 리서치가 개발한 딥 러닝 모델 툴을 사용하면 누구나 멋진 그림 작업을 할 수 있답니다.
대충 그려도 입이 딱 벌어지는 사실적인 작품을 탄생시키죠. 이 도구는 GAN (Generative Adversarial Networks)이라고 불리는 생성적 적대 신경망을 활용해 분할 지도를 실제 같은 이미지로 변환시킵니다.
이 모델을 사용한 인터렉티브 앱은 후기 인상파 대표 화가인 폴 고갱의 이름을 따 고갱(GauGAN)으로 불립니다.
GauGAN은 건축가, 도시 계획자부터 조경 설계자와 게임 개발자에 이르는 모든 이들에게 가상 세계를 만들 수 있는 강력한 도구를 제공할 수 있습니다. 현실 세계의 모습을 파악한 AI를 활용해 전문가들은 아이디어를 한층 수월하게 프로토타이핑 할 수 있으며 합성 장면으로 빠르게 전환시킬 수 있죠.
브라이언 카탄자로(Bryan Catanzaro) 엔비디아 응용 딥 러닝 연구소 부사장은 “간단한 스케치로 디자인을 브레인스토밍 하기가 매우 쉬워졌습니다. 이 기술로 스케치를 매우 사실적인 이미지로 만들어 낼 수 있죠”라고 말했습니다.
브라이언 카탄자로 부사장은 GauGAN에 적용된 기술을 개략적인 분할 지도 내에 세부사항을 채울 수 있는 “스마트 페인트브러시”에 비유했습니다. 장면 속 물체의 위치를 보여주는 정밀한 윤곽 표현 기술이죠.
사용자들은 GauGAN으로 분할 지도를 그리고 장면을 조정해 모래, 하늘, 바다, 눈 등으로 영역별 라벨링을 할 수 있습니다.
수백만 개 이미지로 트레이닝된 이 딥 러닝 모델은 뛰어난 결과물로 장면을 연출해 냅니다. 연못을 그리고, 그 주변을 둘러싼 나무와 바위 등이 물에 비친 모습도 나타나죠. 영역 라벨을 “잔디”에서 “눈”으로 바꾸면 전체 이미지는 한 겨울로 변신합니다. 잎이 무성한 나무도 앙상한 가지만 남은 나무가 되죠.
브라이언 카탄자로 부사장은 “나무가 있는 곳, 해가 있는 곳, 하늘이 있는 곳 등을 표시하는 색칠하기 책과 같습니다. 그 작업이 끝나면 뉴럴 네트워크가 실제 이미지에서 학습한 내용을 바탕으로 모든 세부 사항과 질감, 반사, 그림자, 색상 등을 속속 채웁니다”라고 말했습니다.
GAN은 실제 세계에 대한 부족한 이해에도 불구하고 생성자(generator)와 감별자(discriminator)로 이뤄진 네트워크 쌍 구조 덕분에 설득력 있는 결과물을 만들어 낼 수 있습니다. 생성자가 이미지를 만들어 감별자에게 제시하면, 실제 이미지로 트레이닝된 감별자는 합성 이미지의 사실감을 향상시키는 방법에 대한 픽셀별 피드백으로 생성자를 지도합니다.
실제 이미지에 대한 트레이닝을 거친 감별자는 실제로 연못이 어떻게 생겼는지 알며, 호수 표면에는 사물이 반사돼 표현된다는 점도 압니다. 생성자는 감별자로부터 설득력 있는 모방을 만들어 내는 법을 배우죠.
또한 사용자는 이 도구를 활용해 생성된 이미지를 특정 화가의 화풍으로 조정하거나 낮 시간 장면을 밤 시간 장면으로 변경하는 스타일 필터를 추가할 수도 있습니다.
브라이언 카탄자로 부사장은 “GauGAN은 다른 이미지에서 가져온 여러 부분을 그저 조합하거나 잘라 붙이기만 하는 단순한 기술이 아닙니다. 오히려 화가가 그림을 그리는 방법과 매우 흡사하게 새로운 이미지를 만들어내는 것이라고 할 수 있죠” 라고 설명했습니다.
GauGAN 앱은 육지, 바다, 하늘 등과 같은 자연 요소에 집중하는 한편, 기저에 있는 뉴럴 네트워크는 건물, 도로, 사람 등과 같은 다른 풍경 요소를 채워 넣는 역할을 합니다.
GauGAN 연구 보고서는 오는 6월에 열리는 컴퓨터 비전 · 패턴 인식(CVPR) 컨퍼런스에서 발표를 통해 인정을 받게 돼 있답니다. 5천개 이상의 제출 건 중 인정 받는 건 5%에 불과한데 말이죠.
지난 GPU 기술 컨퍼런스에서 타이탄 RTX GPU로 실행되는 대화형 데모를 활용해 GauGAN을 직접 체험할 수 있는 기회가 제공된 바 있습니다.