연구원들은 시각적 오정보(visual misinformation) 도전과제를 해결하기 위해 AI가 생성한 이미지를 식별할 수 있는 툴을 계속 발전시켜야 합니다. 예를 들면, 코로나 팬데믹 기간동안 탐 크루즈(Tom Cruise)가 이탈리아에서 골프를 치는 모습을 보여주는 틱톡(TikTok) 영상 같은 것 말이죠.
NVIDIA는 이런 노력을 강화하기 위해 연구자들과 협력하며 최첨단 이미지 생성 모델에서 검출기 알고리즘의 개발과 테스트를 지원하고 있습니다.
최첨단 미디어 생성 알고리즘인 StyleGAN3은 현실감 넘치는 이미지 데이터 세트를 생성합니다. 이를 통해 NVIDIA는 최신 기술로 만든 AI 생성 이미지를 테스트할 시 검출기 알고리즘이 잘 작동하는지를 알 수 있는 중요한 정보를 연구자들에게 제공했습니다. 이런 검출기는 전문가들이 합성 이미지를 식별하고 분석하여 시각적 오정보를 차단하는 데 도움을 줍니다.
최근 NVIDIA GTC에서 StyleGAN3에 대해 정보를 제공하는 “알리아스-프리 생성적 적대 신경망(Alias-free Generative Adversarial Networks)” 세션을 선보였습니다. GTC에 무료로 등록하고, 온디맨드로 시청하세요.
퍼듀대학교(Purdue University) 교수이자 해당 연구팀들 중 한 곳에서 수석 연구원을 맡고 있는 에드워드 델프(Edward Delp)는 “이미지 생성 탐지를 하는 사람들이 이미지 생성작업을 하는 NVIDIA 사람들과 긴밀히 협력했던 독특한 상황이었습니다. NVIDIA와의 협업을 통해 훨씬 우수하고 강력한 탐지기를 만들 수 있었습니다. NVIDIA가 사용하는 ‘얼리 액세스’ 접근법은 추가적인 포렌식 연구를 위한 탁월한 방식입니다”라고 말했습니다.
StyleGAN3 이미지로 미디어 포렌식 기술 향상
연구자들이 이미지 생성 기술의 기본 코드나 신경망을 알고 있다면, 그 AI 모델이 만든 이미지를 식별하는 검출기를 개발하는 건 비교적 간단한 작업이 되죠.
오히려 훨씬 까다로우면서도 유용하게 쓰이는 작업은 완전히 새로운 AI 모델로 생성된 이미지를 탐지할 수 있는 검출기를 만드는 일입니다.
오는 12월 인공지능(AI) 컨퍼런스 NeurIPS 2021에서 발표될 NVIDIA 연구에서 개발된 모델인 StyleGAN3은 이미지 합성에 사용되는 생성적 적대 네트워크의 최첨단 기술을 선보일 예정입니다. 이 첨단 기술에는 이미지를 회전하고, 크기를 조정하거나 변환할 시에 종종 나타나는 이미지 손상 일종인 에일리어싱(aliasing)을 방지하기 위해 신호 처리, 이미지 처리의 그래픽 원리를 GAN에 도입합니다.
NVIDIA 연구원들은 7만 개의 이미지 공개 데이터 세트를 사용해 StyleGAN2을 개발했는데요. 이 데이터 세트에서의 27,000개의 미공개 이미지가 StyleGAN3에서 얻은 AI 생성 이미지와 함께 테스트 데이터 세트로 포렌식 연구자들에게 제공됐습니다.
연구자들 간의 협력을 통해 생성기 코드가 공개되기 전에 StyleGAN3의 합성 이미지를 식별하는데 있어 다양한 검출기 접근 방법이 수행되는 방법을 평가할 수 있었습니다.
이런 검출기는 다양한 방식으로 쓰입니다. 신경망이 생성한 픽셀 그룹 간에 분명한 상관관계를 찾을 때 쓰이는 반면, 생성 이미지를 제공하는 불일치 또는 비대칭을 찾는 데 쓰이기도 합니다. 특정 신경망이 이미지를 만들 수 있었는지 추정하기 위해 합성 접근법을 역설계하려고 시도하는 데 쓰이기도 하죠.
이런 검출기 중 하나인 GAN-스캐너(GAN-Scanner)는 훈련 중에 그 모델이 생성한 이미지를 보지 않고도 StyleGAN3로 생성된 합성 이미지를 최대 95%의 정확도로 식별해냅니다. 밀라노 공과 대학(Politecnico di Milano)에서 만든 또 다른 검출기는 완벽한 검출기의 곡선 아래 영역(AUC)이 1이라고 가정할 경우, AUC를 0.999의 정확도로 달성합니다.
StyleGAN3 연구원들과 함께한 NVIDIA의 작업은 미디어 포렌식 연구진이 수행한 중요한 첨단 연구작업을 지원합니다. 이를 통해 이미지 합성 연구 커뮤니티의 다른 참여자들이 포렌식 연구에 더 많이 참여할 수 있기를 희망합니다.
NVIDIA StyleGAN3 소스 코드, 여기서 설명한 검출기 협업에 대한 결과와 링크는 GitHub에서 이용 가능합니다. 이 연구에 대한 자세한 논문은 arXiv에서 찾아볼 수 있습니다.
GAN 검출기 협업은 미국 연방기술연구개발청(DARPA)이 주관하는 미디어 포렌식 분석 프로그램인 시맨틱 포렌식(Semanic Forensics)의 일환입니다.
AI 연구의 최신 내용에 대해 자세히 살펴보려면 아래 GTC에서 NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)의 키노트를 시청해보세요!