NVIDIA는 최근 그래픽 분야의 산학 연계 연구를 통해 움직임을 부드럽게 시뮬레이션하는 강화 학습 모델, 가상현실을 위한 초박형 홀로그램 안경, 숨겨진 광원에 의해 조명되는 물체에 대한 실시간 렌더링 기술을 개발했습니다.
이를 포함한 10여개 프로젝트가 8월 8일부터 11일까지 캐나다 밴쿠버 현지와 온라인으로 개최되는 SIGGRAPH 2022에서 전시될 예정인데요. NVIDIA 연구원들과 다트머스 대학, 스탠퍼드 대학, 스위스 로잔 연방 공과대학, 텔아비브 대학을 포함한 14개 대학과의 공동 연구의 결과물인 16개의 기술 논문이 이번 컨퍼런스에서 채택됐습니다.
이 논문들은 신경 콘텐츠 생성 툴, 디스플레이와 인간 인식, 컴퓨터 그래픽과 신경 렌더링의 수학적 기초의 발전과 함께 그래픽 연구의 지평을 넓혔습니다.
멀티 스킬 시뮬레이션 캐릭터를 위한 신경 툴
강화 학습 모델을 사용하여 물리학 기반 애니메이션 캐릭터를 개발할 때, AI는 일반적으로 한 번에 하나의 기술(예를 들어 걷기, 달리기 또는 재주넘기)만 학습합니다. 그러나 UC 버클리, 토론토 대학과 NVIDIA의 연구원들은 AI가 전체 기술 레퍼토리를 학습할 수 있게 하는 프레임워크를 만들었습니다. 위 그림의 캐릭터처럼 칼을 휘두르고 방패를 사용하고 넘어진 후 다시 일어설 수 있죠.
애니메이션 캐릭터에 대해 이렇게 부드럽고 실제 같은 동작을 구현하는 것은 보통 지루하고 노동 집약적인 작업인데요. 개발자가 처음부터 각각의 새로운 작업에 대해 AI를 훈련시키기 시작해야 하기 때문입니다. 이 백서에 설명된 대로 연구팀은 강화 학습 AI가 이전에 학습한 기술을 재사용하여 새로운 시나리오에 대응할 수 있도록 함으로써 효율성을 개선하고 추가 모션 데이터의 필요성을 줄였습니다.
이러한 툴은 애니메이션, 로보틱스, 게임, 치료학 분야의 크리에이터들이 사용할 수 있습니다. SIGGRAPH에서 NVIDIA 연구원들은 포인트 클라우드로부터 표면 재구성과 대화형 모양 편집을 위한 3D 신경 툴과, AI 가 벡터 스케치의 간격을 더 잘 이해하고 타임랩스 비디오의 시각적 품질을 개선하기 위한 2D 툴에 대한 논문도 발표할 예정입니다.
경량 안경에 가상현실 구현
대부분의 가상현실 사용자는 부피가 큰 헤드 마운트 디스플레이를 착용하여 3D 디지털 세계에 액세스하지만, 연구원들은 일반 안경과 유사한 경량 대안을 연구하고 있습니다.
NVIDIA와 스탠퍼드 대학은 공동 연구를 통해 3D 홀로그램 이미지에 필요한 기술을 두께가 몇 밀리미터밖에 되지 않는 웨어러블 디스플레이에 담았습니다. 2.5mm 두께의 이 디스플레이는 2D 이미지만 지원할 수 있는 폴디드 옵틱스(folded optics)라는 기술이 적용된 ‘팬케이크 렌즈’라고 불리는 얇은 VR 디스플레이 크기의 절반도 되지 않습니다.
연구원들은 디스플레이 품질과 디스플레이 크기를 컴퓨팅 문제로 접근하고 AI 기반 알고리즘으로 광학 장치를 공동 설계하여 이 성과를 달성했습니다.
기존 VR 디스플레이는 홀로그램을 생성하기 위해 돋보기 렌즈와 디스플레이 패널 사이의 거리가 필요하지만, 이 새로운 디자인은 공간 광 모듈레이터를 사용하여 사용자의 눈 바로 앞에서 홀로그램을 생성할 수 있습니다. 동공 복제 도파관과 기하학적 위상 렌즈와 같은 추가 구성 요소는 장치의 부피를 더욱 줄여줍니다.
이는 이번 컨퍼런스에서 스탠퍼드 대학과 NVIDIA가 협업한 두 가지 VR 연구 중 하나이며, 대역폭 사용을 최적화하면서 이미지 품질을 개선하는 새로운 컴퓨터 생성 홀로그래피 프레임워크를 제안하는 또 다른 연구도 있습니다. 미국 뉴욕 대학과 프린스턴 대학 과학자들과 공동으로 저술한 디스플레이, 인식 연구 분야의 세 번째 논문은 렌더링 품질이 사용자가 화면 정보에 반응하는 속도에 미치는 영향을 측정했습니다.
새로운 차원의 실시간 조명 복잡성
장면에서 실시간으로 빛의 경로를 정확하게 시뮬레이션하는 것은 항상 그래픽 기술의 ‘최고봉’으로 간주되고 있는데요. 유타 대학 컴퓨팅 학과와 NVIDIA가 집필한 논문에 자세히 기술된 연구는 숨겨진 광원을 포함하여 복잡한 조명이 있는 장면의 실시간 렌더링을 가능하게 하는 경로 재샘플링 알고리즘을 도입함으로써 기술 수준을 높였습니다.
바깥에 있는 가로등 불빛이 탁자 위의 유리 꽃병을 간접적으로 비추는 어두운 방으로 들어가는 장면을 생각해 보세요. 광택 있는 표면은 광원과 보는 사람의 눈 사이에 광선이 여러 번 반사되어 긴 빛 경로를 만듭니다. 이러한 광 경로 계산은 일반적으로 게임과 같은 실시간 애플리케이션에 적용하기에는 너무 복잡하므로 주로 영화나 기타 오프라인 렌더링 애플리케이션에서 쓰이죠.
이 연구는 실시간으로 광 경로를 효율적으로 근사화하기 위해 렌더링하는 동안, 알고리즘이 이렇게 복잡한 광 경로를 추적하는 동안 계산을 수천 번 재사용하는 통계적 리샘플링 기술의 사용을 강조합니다. 연구원들은 이 알고리즘을 컴퓨터 그래픽에서 고전적으로 어려운 장면에 적용했는데요. 아래 그림과 같이 간접 조명이 비추는 금속, 세라믹, 유리 재질의 찻주전자 세트입니다.
SIGGRAPH에서 소개되는 관련 NVIDIA 논문에는 역 볼륨 렌더링을 위한 새로운 샘플링 전략, 2D 모양 조작을 위한 새로운 수학적 표현, 렌더링과 기타 애플리케이션에 대한 통일성이 개선된 샘플러를 생성하는 소프트웨어, 편향된 렌더링 알고리즘을 보다 효율적인 비편향 알고리즘으로 전환하는 방법이 포함됩니다.
신경 렌더링: 합성 장면을 강화하는 NeRF, GAN
신경 렌더링 알고리즘은 실제 데이터에서 학습하여 합성 이미지를 생성합니다. NVIDIA 연구 프로젝트는 2D와 3D에서 이를 구현하기 위한 최첨단 툴을 개발하고 있습니다.
2D 에서는 텔아비브 대학과 공동으로 개발한 StyleGAN-NADA 모델로 참조용 예시 이미지 없이도 사용자의 텍스트 프롬프트를 기반으로 특정 스타일의 이미지를 생성합니다. 예를 들어 사용자는 빈티지 자동차 이미지를 생성하거나 개를 그림으로 바꾸거나 집을 오두막으로 바꿀 수 있죠.
그리고 3D에서는 NVIDIA와 토론토 대학의 연구원들은 대규모 가상 세계의 생성을 지원할 수 있는 툴을 개발하고 있는데요. 인기 있는 Instant NeRF툴에 대한 NVIDIA 논문인 ‘인스턴트 뉴럴 그래픽 프리미티브’가 SIGGRAPH에서 발표될 예정입니다.
2D 이미지 모음을 기반으로 하는 3D 장면인 NeRF는 신경 그래픽 프리미티브 기술의 기능 중 하나인데요. 이미지 압축, 3D 모양의 매우 정확한 표현, 초고해상도 이미지를 포함한 애플리케이션과 함께 복잡한 공간 정보를 나타내는 데 사용할 수 있습니다.
이 작업은 JPEG파일이 2D 이미지를 압축하는 데 사용되는 것처럼 신경 그래픽 프리미티브를 압축하는 토론토 대학과의 공동 연구와 함께 이루어지고 있는데요. 이를 통해 사용자는 휴대폰이나 로봇과 같은 소형 디바이스 간에 3D 맵과 엔터테인먼트 경험을 저장하고 공유할 수 있습니다.
전 세계에 300명 이상의 NVIDIA 연구원들은 AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율주행 자동차, 로보틱스 등 분야별 팀을 구성하고 있습니다. NVIDIA 연구에 대해 더 자세히 알아보세요.