엔비디아의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 엔비디아 GPU 테크놀로지 컨퍼런스(GPU Technology Conference) 기조연설에서 엔비디아가 레이 트레이싱(Ray Tracing)에 인공지능을 적용해서, 어떻게 반복적인 디자인 과정을 발전시켜 최종 렌더링의 정확한 예측을 가능하게 하는지 선보였습니다.
레이 트레이싱은 복잡한 수학을 이용해, 특정 공간에서 조명이 표면과 어떻게 상호작용 하는지를 실제처럼 시뮬레이션하는 기술인데요. 레이 트레이싱 과정은 상당히 사실적인 이미지를 생성하지만, 연산력이 집중되는 작업이기 때문에 이미지 상에 약간의 노이즈가 남을 수 있었습니다.
이러한 노이즈를 제거하면서 세밀한 가장자리 처리와 텍스처를 유지하는 작업을, 업계에서는 디노이징(Denoising)이라고 부른답니다.
젠슨 황 CEO는 엔비디아 아이레이(NVIDIA Iray)를 이용해서 엔비디아가 딥 러닝 예측 알고리즘과 파스칼(Pascal) 아키텍처 기반의 엔비디아 쿼드로(NVIDIA Quadro) GPU를 결합해, 어떻게 고품질의 디노이징 작업을 실시간으로 처리하는지 선보였습니다.
이는 엔터테인먼트, 제품 디자인, 제조, 건축, 엔지니어링 등 그래픽 집중도가 높은 산업에 큰 영향을 미칠 예정입니다.
이러한 기술은 다양한 종류의 레이 트레이싱 시스템이 적용될 수 있는데요. 엔비디아는 이미 딥 러닝 기술을 자체 렌더링 제품에 통합시키는 작업을 진행 중입니다. 그 시작이 바로 아이레이입니다.
아이레이 인터랙티브 디노이징의 작동 방식
기존의 고품질 디노이징 알고리즘은 프레임당 수초 내지 수분의 시간이 소요되어서, 인터랙티브 애플리케이션에는 실용적이지 않았는데요.
아이레이 인공지능은 부분적으로 완료된 결과물에서 최종 이미지를 예측해, 최종 이미지의 렌더링을 기다릴 필요 없이 정확하고 사실적인 모델을 생성합니다.
디자이너는 반복 작업을 거쳐 최종 이미지로 마무리 짓는 작업을 4배 이상 빠르게 처리할 수 있고, 최종 장면이나 모델에 대한 이해도 훨씬 빠르게 진행됩니다. 덕분에 시장 출시 계획도 가속화되지요.
이를 위해서, 엔비디아의 연구진과 엔지니어들은 오토인코더(autoencoder)라는 뉴럴 네트워크에 주목했습니다. 오토인코더는 이미지 해상도 증가, 동영상 압축 및 다양한 이미지 처리 알고리즘용으로 사용됩니다.
엔비디아 연구팀은 엔비디아 DGX-1 (NVIDIA DGX-1) AI 슈퍼컴퓨터를 이용해서 노이즈가 있는 이미지를 깨끗한 레퍼런스 이미지로 해석하도록 뉴럴 네트워크를 트레이닝 했습니다.
노이즈 수가 각기 다른 1만 5천 쌍의 이미지를, 3천 개의 각기 다른 장면에서 확보해서 뉴럴 네트워크의 트레이닝에 사용하는데 24시간이 채 걸리지 않았습니다. 트레이닝을 마친 뉴럴 네트워크는 거의 모든 이미지에서 노이즈를 제거하는데 1초도 걸리지 않았고, 기존의 트레이닝 세트에 포함되지 않았던 이미지에서도 마찬가지였습니다.
아이레이 딥 러닝 기능은 엔비디아가 소프트웨어 기업에 제공하는 아이레이 SDK에 포함될 예정이며, 올해 말 출시 예정인 아이레이 플러그인 제품에서 공개될 예정입니다. 엔비디아는 엔비디아 멘탈레이(NVIDIA Mental Ray)에도 인공지능 모드를 추가할 계획입니다. 이 기술에 대한 기본적인 내용은 7월에 개최되는 ACM SIGGRAPH 2017 컴퓨터 그래픽 컨퍼런스(ACM SIGGRAPH 2017 computer graphics conference)에서 공개될 예정입니다.