AI 혁신을 선도하는 NVIDIA는 머신 러닝, 자율주행 자동차, 로보틱스, 그래픽 등에서 기술의 경계를 계속해서 확장하고 있습니다. NVIDIA 연구원들은 지난 12월 6일부터 14일까지 열린 제35회 신경정보처리시스템학회(NeurIPS) 연례 컨퍼런스에서 20편의 논문을 발표했습니다.
주요 논문 중 일부를 소개합니다.
에일리어스 없는 생성적 적대 신경망(StyleGAN3)
테로 카라스(Tero Karras), 미카 아이탈라(Miika Aittala), 사물리 레인(Samuli Laine), 에릭 하르코넨(Erik Härkönen), 얀 헬스텐(Janne Hellsten), 야코 레티넨(Jaakko Lehtinen), 티모 아일라(Timo Aila) | 논문 | GitHub | 블로그
NVIDIA Research가 개발한 모델인 StyleGAN3는 최첨단 생성적 적대 신경망(GAN)을 발전시켜 사실적인 이미지를 합성합니다. 이 획기적인 기술은 신호와 이미지 처리의 그래픽 원리를 GAN에 적용해 에일리어싱(aliasing)을 방지하죠. 에일리어싱은 이미지를 회전, 크기 조정 또는 변환할 때 흔히 볼 수 있는 일종의 이미지 손상입니다.
영상 1. StyleGAN3 모델의 결과
EditGAN: 고정밀 시맨틱 이미지 편집
후안 링(Huan Ling)*, 카르스텐 크레이스(Karsten Kreis)*, 다이칭 리(Daiqing Li), 김승욱(Seung Wook Kim), 안토니오 토랄바(Antonio Torralba), 산자 피들러(Sanja Fidler) | 논문 | GitHub
고품질, 고정밀 시맨틱 이미지 편집을 위한 새로운 방법인 EditGAN을 사용하면, 자동차 헤드라이트용 새 마스크 그리기와 같이 매우 상세한 부분 분할 마스크를 수정하여 이미지를 편집할 수 있습니다. EditGAN은 이미지와 시멘틱 분할을 함께 모델링하는 GAN 프레임워크를 기반으로 하며, 레이블된 소수의 예시만 필요로 하는 확장 가능한 편집 도구입니다.
SegFormer: 트랜스포머를 이용하는 시맨틱 분할을 위한 간단하고 효율적인 설계
엔제 시에(Enze Xie), 웬하이 왕(Wenhai Wang), 지딩 유(Zhiding Yu), 아니마 아난드쿠마르(Anima Anandkumar), 호세 M. 알바레즈(Jose M. Alvarez), 핑 루오(Ping Luo) | 논문 | GitHub
SegFormer는 트랜스포머를 경량 다층 인식(MLP) 디코더와 통합하는 간단하고 효율적이면서도 강력한 시맨틱 분할 프레임워크입니다. SegFormer에는 두 가지 매력적인 기능이 있습니다. 1) SegFormer는 멀티 스케일 기능을 출력하는 새로운 계층 구조의 트랜스포머 인코더로 구성됩니다. 위치 인코딩이 필요하지 않으므로 테스트 해상도가 훈련과 다를 때 성능이 저하되는 위치 코드의 보간(interpolation)을 방지할 수 있습니다. 2) SegFormer는 복잡한 디코더를 피합니다.
영상3. Cityscapes-C 데이터 세트에서 SegFormer의 탁월한 제로샷 견고성을 보여주는 영상
DIB-R++: 하이브리드 차별화 렌더러로 조명과 재료 예측 학습
웬젱 첸(Wenzheng Chen), 조이 리탈리엔(Joey Litalien), 준 가오(Jun Gao), 지안 왕(Zian Wang), 클레멘트 후지 창(Clement Fuji Tsang), 사메 카미스(Sameh Khamis), 오르 리타니(Or Litany), 산자 피들러(Sanja Fidler) | 논문
지연된 이미지 기반 렌더러인 DIB-R++는 래스터화와 레이 트레이싱을 결합함으로써, 속도와 현실감이라는 각각의 장점을 활용해 사실적인 효과를 지원합니다.
NeurIPS 2021에서 발표된 논문 외에도, 연구원과 개발자들은 새로운 Kaolin 기능으로 3D 딥 러닝 연구를 가속화할 수 있습니다.
Kaolin은 3D 딥 러닝 연구를 가속화하기 위해 새로운 기능을 출시합니다. NVIDIA Omniverse Kaolin 앱 업데이트는 거대한 포인트 클라우드의 강력한 시각화를 제공합니다. Kaolin 라이브러리 업데이트에는 사면체 메쉬 지원, 레이 관리 기능, DIB-R에 대한 강력한 속도 향상이 포함됩니다. Kaolin에 대한 자세한 내용은 최근 GTC 세션에서 확인할 수 있습니다.
NVIDIA at NeurIPS 2021 웹사이트에서 NVIDIA Research가 승인한 논문, 워크숍, 튜토리얼, 데모의 전체 목록을 확인하고 채용 기회도 찾아보세요!