NVIDIA Research의 최신 AI 모델인 생성적 적대 신경망(generative adversarial networks, GAN)에 많은 관심이 모이고 있습니다. 일반적인 GAN의 훈련에 필요한 자료의 극히 일부만을 가지고도 유명 화가의 작품 모방, 암 조직 재현과 같은 복잡한 기술들을 학습할 수 있죠.
NVIDIA 연구진은 최근 NVIDIA StyleGAN2 모델에 획기적인 신경망 훈련 기법을 적용했습니다. 메트로폴리탄 미술관의 이미지 1,500여 점을 활용해 예술작품들을 재창조한 것인데요. NVIDIA DGX 시스템으로 가속화된 학습을 통해 역사적인 초상화들에 영감을 받은 새로운 AI 아트가 탄생했습니다.
적응형 판별자 증강(adaptive discriminator augmentation, ADA)으로 불리는 이 기법은 훈련용 이미지의 개수를 10~20배까지 줄이면서도 여전히 훌륭한 결과를 도출합니다. 동일한 기법을 헬스케어 분야에도 적용해 상당한 효과를 낼 수 있을 것으로 기대되는데요, 예를 들면 암의 조직학적 이미지를 구성해 다른 AI 모델의 학습에 기여할 수 있을 것입니다.
데이비드 루브케(Luebke) NVIDIA 그래픽 리서치 부문 부회장(VP)은 “이 같은 결과는 데이터 확보가 어려운 상황을 GAN으로 해결할 수 있음을 보여줍니다”라면서 “아티스트, 의료전문가, 연구자들의 향후 활용 방법에 기대가 큽니다”라고 말했습니다.
이번 프로젝트를 뒷받침한 논문은 지난 신경정보처리시스템학회(Conference on Neural Information Processing Systems, NeurIPS)에서 공개됐는데요. 이 논문은 관련 분야에서 최고 권위를 자랑하는 NeurIPS가 채택한 NVIDIA Research의 논문 28편 중 하나이기도 합니다.
이번에 새롭게 소개된 기법은 NVIDIA 연구자들이 이룩해 온 GAN 혁신의 최신판입니다. 그간 엔비디아 연구진은 AI 페인팅 애플리케이션 GauGAN, 게임 엔진 모방자 GameGAN, 동물 사진 트랜스포머 GANimal등을 위한 혁신적 GAN 기반 모델들을 개발해 왔습니다. 이들 모두는 NVIDIA AI Playground에서 만나볼 수 있습니다.
훈련용 데이터의 딜레마
신경망 대부분이 그렇듯이 GAN 또한 AI의 기본 원칙을 지켜왔습니다. 훈련용 데이터가 많을수록 더 나은 모델이 만들어진다는 것이죠. 이러한 이유로 각각의 GAN은 두 개의 협력 네트워크로 구성되어 있습니다. 합성 이미지를 만들어내는 생성자(generator)와 훈련 데이터에 기반해 실제 같은 이미지가 어떤 모습이어야 하는지 학습하는 감별자(discriminator)가 그 주인공인데요.
감별자는 생성자에 픽셀 단위의 피드백을 제공해 합성 이미지의 사실성을 개선할 수 있도록 지원합니다. 하지만 학습을 진행할 훈련용 데이터가 제한적인 상황에서는 감별자가 생성자의 잠재력을 최대 한도로까지 끌어낼 수 없게 됩니다. 노련한 전문가보다 경기 경험이 적은 신입 코치 같은 신세가 되고 마는 것이죠.
고품질의 GAN 하나를 학습시키려면 5만~10만 개의 훈련용 이미지가 필요한 것이 보통입니다. 하지만 마음대로 쓸 수 있는 샘플 이미지를 수만, 수십만 개씩 확보하는 것은 대다수의 연구자들에게 불가능한 일입니다.
훈련용 데이터가 몇 천 개밖에 없다면 GAN은 사실적 이미지의 도출에 어려움을 겪게 될 것입니다. 과적합(overfitting)으로 불리는 이 문제는 감별자가 훈련용 이미지를 단순히 기억만 할 뿐 생성자에게 유용한 피드백 형태로는 제공하지 못할 때 발생합니다.
이미지 분류 작업에서 연구자들은 과적합 문제를 해결하기 위해 데이터 증강(data augmentation)을 활용합니다. 데이터 증강은 기존 이미지를 회전, 크로핑(cropping), 뒤집기 등으로 무작위 변형해 만든 복사본을 써서 소규모의 데이터세트를 확장하는 기법입니다. 이를 통해 해당 모델의 일반화 능력을 향상시킬 수 있죠.
하지만 GAN 훈련용 이미지에 증강 기법을 도입하려던 기존의 시도는 생성자가 신뢰할 만한 합성 이미지를 만들어내는 대신 무작위 변형된 이미지를 모방하는 법을 학습한다는 문제를 발생시켰습니다.
GAN에게 주어진 미션
NVIDIA Research의 ADA 기법은 데이터 증강을 선택적으로 적용합니다. 다시 말해 학습 과정상의 각 지점에 맞춰 데이터 증강의 양을 조정하는 것으로 과적합 문제를 해결합니다. 이렇게 하면 StyleGAN2와 같은 모델들이 더 적은 훈련용 이미지를 중요도순으로 사용해 똑같이 놀라운 결과를 달성할 수 있습니다.
이에 따라 사례가 너무 부족하거나 확보하기 어려워서 또는 대규모 데이터세트로 확장하기에 너무 많은 시간이 소요되어서 기존에는 비현실적인 것으로 간주되었던 애플리케이션에 GAN을 적용할 수 있게 되었습니다.
그간 예술가들은 NVIDIA StyleGAN의 다양한 에디션을 사용해 놀라운 전시물을 창조하고 전설적인 만화가 데즈카 오사무(Osamu Tezuka)의 스타일에 기반한 새로운 만화들을 만들어 왔습니다. NVIDIA StyleGAN은 또한 어도비에도 도입되어 포토샵의 새로운 AI 툴인 뉴럴 필터(Neural Filters)를 구동하고 있기도 합니다.
시작 시에 필요한 훈련용 데이터가 적기 때문에 ADA 기법을 적용한 StyleGAN2는 파리에 기반을 둔 AI 아트 공동체 ‘Obvious’가 아프리카 코타(Kota) 마스크로 진행하는 작업과 같은 희귀 예술에도 적용될 수 있습니다.
이번 기술의 응용이 기대되는 또 다른 분야는 바로 헬스케어인데요, 희귀 질환의 경우 테스트 대부분이 정상으로 나오기 때문에 의료 이미지가 흔치 않을 수 있습니다. 비정상적 병리의 슬라이드로 구성된 유용한 데이터세트를 수집하기 위해서는 의료 전문가들이 오랜 시간을 들여 고된 라벨링 작업을 진행해야 합니다.
ADA 기법을 적용한 GAN으로 합성 이미지를 만들어 이 문제를 극복할 수 있습니다. 다른 AI 모델에 활용할 훈련용 데이터를 생성해 병리학자나 방사선 전문가들이 병리학 이미지와 MRI연구에서 희귀 질환을 발견하는 데 기여할 수 있을 것입니다. 추가 보너스도 있습니다. AI가 만든 데이터에는 환자나 개인 정보와 관련한 문제가 없기 때문에 의료기관 간 데이터세트 공유도 쉬워집니다.
세계적인 신경 학회에서 주목받은 NVIDIA Research
NVIDIA Research팀은 전 세계 200여명의 과학자들로 구성되어 AI, 컴퓨터 비전, 자율주행 자동차, 로보틱스, 그래픽 분야 등을 중점적으로 연구합니다. 엔비디아 연구진이 저자로 참여한 논문 20편 이상이 지난 12월 6일~12일에 가상 이벤트로 개최된 연간 최대 AI 리서치 컨퍼런스 NeurIPS에서 소개됐습니다.
NeurIPS에 제출된 엔비디아 리서치의 논문 목록을 여기에서 확인하세요.
메인 이미지는 ADA 기법을 적용한 StyleGAN2로 생성했습니다. 메트로폴리탄 미술관 아트 컬렉션 API의 이미지 1,500개 미만으로 구성된 데이터세트에서 학습을 진행했습니다.