AI컴퓨팅 기술 분야의 선두주자인 엔비디아는 자사의 연구진이 최근 딥 러닝 분야에서 새롭게 발견한 사항이 전통적인 컴퓨터 그래픽 분야의 발전에 기여할 것이라고 발표했습니다. 엔비디아의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 GPU 테크놀로지 컨퍼런스(GPU Technology Conference)의 기조 연설에서 이에 관한 상세한 내용을 전했는데요.
젠슨 황 CEO는 새로운 발견을 통해, 게임 개발자들은 보다 짧은 시간 내에 저렴한 비용으로 풍부한 게이밍 경험을 창출해낼 수 있게 되며, 관련 업계에서는 다양한 도로 상황, 지형, 위치 정보 등 자율주행 차량의 트레이닝에 필요한 데이터를 보다 용이하게 생성해 개발을 가속화할 것이라고 강조했습니다.
새로운 두 연구 프로젝트는 엔비디아가 보유한 딥 러닝 분야 내 전문성과 컴퓨터 그래픽 분야의 발전에 오랜 기간 동안 기여해 온 바를 시사하는 사례로, 전세계 11개 지역에서 온 약 200명의 엔비디아 연구진은 현재 머신 러닝, 컴퓨터 비전, 자율주행 차량, 로보틱스, 그래픽, 컴퓨터 아키텍처, 프로그램 시스템 등 다양한 분야에 활용되는 기술을 새로운 수준으로 끌어올리는 데 주력하고 있습니다.
“엔비디아 연구진의 생산성은 정말이지 놀랍습니다”라고 젠슨 황은 말했습니다. 이어서 “그들은 컴퓨팅의 전반적인 분야를 통틀어 근본적이고 기본적인 연구를 하고 있습니다”라고 말했습니다.
선명한 이미지 데이터 없이 이미지의 노이즈를 제거하는 첫 번째 프로젝트
이미지에서 노이즈를 제거하는 작업의 경우, 그 프로세스 자체에서 인공물이나 흐림 현상이 더해질 수 있기 때문에 매우 어려운 작업입니다. 딥 러닝 실험을 통해 이에 대한 솔루션이 등장했으나, 아직은 뉴럴 네트워크를 트레이닝할 때 깔끔한 이미지와 노이즈가 있는 이미지를 매치해야 한다는 주요한 단점이 남아 있습니다.
노이즈 제거 기기를 트레이닝해 깔끔한 이미지 데이터를 생성하는 데에는 며칠에서 몇 주까지 소요되는데요. Noise2Noise는 트레이닝 시 깔끔한 이미지와 노이즈가 있는 이미지의 매치를 필요로 하지 않으며, 노이즈가 많은 이미지들을 매치해 트레이닝을 진행합니다. 그러나 깔끔한 이미지와 노이즈가 있는 이미지의 매치를 요하는 기존 트레이닝 방식과 비교했을 때 결코 뒤쳐지지 않는 결과물을 제시합니다.
이미지를 버릴 지 말 지 고민은 이제 그만
MRI와 같은 의학용 영상 진단과 먼 거리의 행성이나 항성의 천문학 사진의 경우 깔끔한 사진을 포착해 내는 시간이 너무 짧거나 빛이 충분하지 않은 상황으로 인해 깔끔한 상태의 이미지를 만들어낼 수 없다는 게 일반적인 문제입니다.
컴퓨터 그래픽의 경우에도 시간 문제입니다. 이미지의 노이즈를 제거하기 위해 깔끔한 상태의 이미지를 만들어 내는 작업 또한 수 일에서 수 주가 걸리는데요.
그렇기에 Noise2Noise에 대해서 처음 들었을 때에는 이게 가능할까 하는 의문이 듭니다. 이것은 깔끔한 상태의 이미지와 노이즈가 있는 이미지를 함께 네트워크에 트레이닝 시키는 대신 노이즈가 있는 이미지들만을 트레이닝 시키는 것인데요. Noise2Noise는 오래된 방식 네트워크를 트레이닝시켜 얻은 결과와 같거나, 거의 흡사한 결과물을 보여줍니다.
“우리가 발견한 것은 네트워크를 올바르게 설정하여 불가능한 작업을 수행하도록 요청하는 것입니다.”라고 데이빗 루브크(David Luebke) 연구 부사장이 말했습니다. 그는 이어서 “이 것에 대해 전부 이해하기 전까지는 결과물이 정말 놀라웠습니다”라고 말했습니다.
가상 세계를 구축하는 완전히 새로운 방식을 제시하는 두 번째 프로젝트
엔비디아의 두 번째 프로젝트는 가상 세계를 구축하는 완전히 새로운 방식을 제시합니다. 까다롭고 비용이 많이 드는 게임의 3D 모델 구축 작업과 자율주행 차량의 트레이닝에 필요한 데이터 수집에 딥 러닝을 활용해 보다 용이하게 작업을 실행할 수 있게 되는 것인데요.
이 기술은 시맨틱 조작(Semantic manipulation)으로 불리며, 아이들이 제트 비행기나 용을 만드는 데 쓰는 레고 블럭과 유사한 것으로 이해할 수 있습니다.
시맨틱 조작에서 사용자들은 각 픽셀에 매치되는 레이블이 배치된 청사진인 레이블 맵을 활용합니다. 맵에 배치된 레이블을 전환해 이미지를 변경할 수 있으며, 차종이나 도로, 나무 등 사물을 수정하는 것도 가능합니다.
게임 분야의 발달을 기대
엔비디아 연구팀의 방법은 데이터가 부족할 때 트레이닝 데이터를 생성하기 위해 사용하는 GANs(generative adversarial networks)에 의존합니다.
본래 GANs은 고화질의 이미지를 만들어내거나 사진의 사실감을 살리는 데에 쓰이는 반면, 엔비디아 연구팀은 GAN 아키텍쳐를 부족한 데이터를 생성하는 것으로 대체해 이러한 결과를 얻어낼 수 있었습니다.
오늘날 컴퓨터 게임의 가상 환경을 만들어 내는 데에는 모델을 만들고 변경하기 위한 아티스트의 수 많은 시간이 필요하며, 여기에는 게임당 1억 달러에 가까운 비용이 듭니다. 그렇게 수많은 모델들이 우리가 스크린에서 보는 게임으로 바뀌게 되는 것입니다.
여기에 소요되는 게임 아티스트들과 스튜디오들의 노동의 양을 줄임으로써 보다 많은 캐릭터와 스토리라인을 갖춘 탄탄한 게임을 만들어낼 수 있습니다.
샌프란시스코에서 바르셀로나까지 연결하다
자율 주행차를 훈련하기 위한 데이터를 얻는 것은 매우 다루기 힘듭니다. 이 작업은 일반적으로 센서와 카메라가 장착된 차량을 도로에 투입하는 방식으로 이루어지는데요. 차량에 의해 캡처된 데이터는 수동으로 라벨이 붙어야 하며, 이 라벨은 자율 주행 차량을 훈련하는 데 사용됩니다.
이 팀의 방법은, 예를 들어, 샌프란시스코에서 자료를 가져와 바르셀로나와 같은 언덕이 많은 다른 도시에 적용하는 것을 가능하게 할 수 있습니다. 혹은 자갈 길을 포장된 거리로 만들 수도 있고, 나무가 서 있는 거리를 주차된 차들이 늘어선 줄로 바꿀 수도 있는데요.
그것은 자동차가 많은 다른 상황을 처리하도록 훈련시키는 것을 더 효과적으로 가능하게 만들 수 있습니다. 그리고 그래픽 렌더링 엔진이 실제 데이터에 대해 교육되고 생성 모델을 사용하여 렌더링 될 수 있습니다.
“저는 우리 엔비디아 연구팀이 매우 자랑스럽습니다”라고 젠슨 황 CEO가 말했습니다. 이어서 “우리는 발전하고 있습니다. 우리에게 손길을 뻗어주십시오, 우리는 당신과 협력하고 싶습니다”라고 말했습니다.
엔비디아 연구진이 달성해 나가고 있는 그래픽 분야의 혁신에 관해서는, “인공지능 기술로 더욱 빠르게, 보다 현실 같은 게임 캐릭터 탄생”과 “엔비디아 연구진이 신경정보처리시스템학회(NIPS)에서 발표한 딥 러닝의 발전”, 두 포스트를 통해 살펴보거나 아래의 논문을 통해 확인해볼 수 있습니다.
- 조건부 GANS를 활용한 고해상도 이미지 합성 및 시맨틱 조작 – AI관련 컴퓨터 비전 및 패턴 인식 콘퍼런스인 CVPR(Computer Vision and Pattern Recognition) 2018에서 6월 발표 예정