NVIDIA가 짧은 단어만으로 사실적인 예술품을 만들어주는 최신 버전의 AI 페인팅 툴 GauGAN2를 공개했습니다!
GauGAN의 딥 러닝 모델은 누구나 어느때보다 쉽게 자신의 상상력을 사실적인 그림으로 만들 수 있게 해줍니다. ‘해변의 일몰’과 같은 문구를 입력하기만 하면 AI가 실시간으로 장면을 생성하죠. 그리고 ‘바위가 많은 일몰의 해변’과 같이 추가 형용사를 추가하거나, 일몰을 오후 또는 비 오는 날로 바꾸면 GauGAN은 적대적 생성 신경망(Generative Adversarial Networks, GAN)을 기반으로 즉시 그림을 수정합니다.
버튼을 누르면 사용자는 장면에서 개체의 위치를 보여주는 상위 수준의 윤곽선인 세그멘테이션 맵(Segmentation Map)을 생성할 수도 있는데요. 하늘, 나무, 바위, 강과 같은 레이블을 사용하여 대략적인 스케치로 장면을 조정하고 그림으로 전환하여 스마트 페인트 브러시가 낙서를 멋진 이미지로 구현할 수 있게 합니다.
새로운 GauGAN2 텍스트-이미지변환 기능은 NVIDIA Research의 최신 NVIDIA AI 데모를 통해 체험할 수 있습니다. GauGAN2는 다양한 텍스트 프롬프트와 스케치를 통해 사용자에게 보다 세밀한 컨트롤과 빠른 장면 커스터마이징을 제공합니다.
GauGAN2는 세그멘테이션 맵, 인페인팅과 텍스트-이미지 생성을 단일 모델에 결합하여 단어와 그림의 혼합을 사실적 예술로 바꾸는 강력한 도구입니다. 이 데모는 최초로 단일 GAN 프레임워크 내에서 텍스트, 세멘틱 세그멘테이션(Semantic Segmentation), 스케치, 스타일과 같은 여러 양식을 하나로 통합하는데요. 이 기술은 아티스트의 비전을 고품질 AI 생성 이미지로 더 빠르고 쉽게 전환할 수 있도록 돕습니다.
상상한 장면의 모든 요소를 그릴 필요 없이 사용자는 ‘눈 덮인 산맥’과 같은 짧은 문구를 입력하여 이미지의 주요 특징과 테마를 빠르게 생성할 수 있습니다. 시작점은 스케치를 통해 특정 산을 더 높게 만들거나 전경에 몇 그루의 나무를 추가하거나 하늘에 구름을 추가하는 등 사용자 정의도 가능합니다.
아티스트들은 GauGAN2를 사용하여 현실기반의 이미지뿐만 아니라 다른 세상의 풍경도 묘사할 수 있습니다. 예를 들어 두 개의 태양이 있는 스타워즈 시리즈의 상징적인 행성 타투인(Tatooine)의 풍경을 재현하기 위해 사용자는 ‘사막, 모래언덕, 해’라는 텍스트만으로 시작점을 만들고, 이를 기반으로 두 번째 태양을 스케치해 넣을 수 있죠.
GauGAN의 원리는 사용자가 텍스트 상자에 입력하는 모든 단어가 AI 생성 이미지에 더 많은 것을 추가하는 반복적인 과정입니다.
GauGAN2의 AI 모델은 세계에서 가장 강력한 10대 슈퍼컴퓨터 중 하나인 NVIDIA DGX SuperPOD 기반 NVIDIA Selene 슈퍼컴퓨터를 사용해 훈련됐는데요. 천만 개의 고품질 풍경 이미지와 겨울, 안개 또는 무지개와 같이 단어와 단어가 해당하는 영상 간의 연결을 학습시키는 신경망이 사용됐습니다.
특히 텍스트-이미지 또는 세그멘테이션 맵-이미지 애플리케이션을 위한 최신 모델에 비해 GauGAN2의 신경망은 훨씬 다양한 고품질 이미지를 생성합니다. GauGAN2의 연구 데모는 아티스트를 위한 강력한 이미지 생성 도구의 미래를 보여주죠. NVIDIA RTX GPU가 있는 사람이라면 누구나 다운로드할 수 있는 GauGAN 기반의 NVIDIA Canvas 애플리케이션이 바로 그 예시입니다.
NVIDIA Research는 AI, 컴퓨터 비전, 자율주행 자동차, 로봇 공학과 그래픽을 포함한 분야에 중점을 둔 전 세계 200명 이상의 과학자를 보유하고 있습니다. 여기에서 NVIDIA Research의 작업에 대해 자세히 알아보세요.