사진을 3D 아바타로 바꾸는 방법 ‘NVIDIA Omniverse’

셀카를 찍고 그 사진으로 단 몇 초 만에 움직이고 말하는 사용자 정의 가능 3D 아바타를 얻는다고 상상해 보세요.

설계 협업, 세계 시뮬레이션 플랫폼인 NVIDIA Omniverse를 위한 새로운 익스텐션이 이를 가능하게 합니다.

소프트웨어 스타트업 in3D에서 개발자들이 만든 이 익스텐션을 사용하면 스마트폰을 사용하여 자신의 3D 아바타를 가상 환경으로 즉시 가져올 수 있습니다. Omniverse Extensions은 누구나 Omniverse 앱의 기능을 만들고 확장할 수 있는 핵심 빌딩 블록입니다.

이제 in3D 앱을 통해 디지털 형태의 사람들을 Omniverse로 가져올 수 있습니다. 크리에이터는 멋진 가상 세계를 구축하고 스토리에서 이러한 아바타를 영웅, 배우 또는 관중으로 사용할 수 있습니다. 이 앱은 카메라가 있는 모든 휴대폰에서 작동하며, 동영상 셀카를 기반으로 사용자의 전체 형상과 질감을 재현합니다.

애니메이션과 맞춤형 옷장을 이용해 아바타를 3D 세계에 추가할 수도 있습니다.

In3D는 최첨단 스타트업을 육성하는 무료 글로벌 프로그램인 NVIDIA Inception의 회원입니다.

간단하고 확장 가능한 아바타 생성

사실적인 3D 아바타를 만드는 데는 보통 최대 수 개월이 걸리며 최대 수만 달러만 달러의 비용이 들죠. 이미지에서 인간의 3D 참조를 생성하는 표준 접근법인 사진측량은 비용이 매우 많이 들고 디지털 스튜디오가 필요하며 확장성이 부족합니다.

in3D를 사용하면 3D 아바타를 만드는 프로세스가 간단하고 확장 가능해집니다. 이 앱은 모바일 스캔을 통해 사람의 형상, 질감, 깊이와 다양한 벡터를 이해하고, 이 정보를 사용하여 실제와 같은 세부 사항을 복제하고 아바타에 대한 예측 애니메이션을 만듭니다.

이스라엘 텔아비브에 소재한 in3D의 CEO 드미트리 울리야노프(Dmitry Ulyanov)는 이 앱이 센티미터급 정확도로 작은 세부 사항도 캡처하고 자동으로 조명을 수정한다고 말했습니다. 이를 통해 한 장의 셀카에서 정확한 머리 형상과 사용자의 정확한 신체 모양을 추정할 수 있습니다.

울리야노프에 따르면 3D 세계를 구축하는 크리에이터들은 in3D 소프트웨어로 많은 시간을 절약하고 생산성을 높이며 상당한 비용 절감을 할 수 있다고 합니다.

그는 “아바타 하나를 수동으로 만드는 데 최대 몇 달이 걸릴 수 있습니다. in3D의 스캐닝 앱과 소프트웨어 개발 키트를 사용하면, 사용자는 동일한 시간에 단일 GPU와 휴대폰으로 21,000명을 스캔하고 업로드할 수 있습니다”라고 덧붙였죠.

Omniverse에 연결

울리야노프는 NVIDIA Omniverse Avatar Cloud Engine (ACE)과 함께 in3D의 확장 기능을 사용하면, 사용자가 in3D에서 가져온 아바타를 쉽게 사용자 정의하여 가상 세계에 실시간으로 대규모로 참여하고 상호 작용할 수 있기 때문에 아바타 구축에 있어 많은 가능성을 열 수 있다고 말했습니다.

In3D는 확장 가능한 오픈 소스 파일 형식인 USD(Universal Scene Description)를 사용하여 고화질 아바타를 Omniverse에 원활하게 통합합니다. 모든 아바타 데이터는 USD 파일에 포함되어 있어 복잡한 셰이더 또는 임베딩이 필요하지 않죠. 간단한 드래그 앤 드롭으로 아바타를 Omniverse로 가져올 수 있습니다.

USD를 통해 Omniverse로 가져온 아바타는 Omniverse Create나 Audio2Face와 같은 앱에서 사용할 수 있습니다. 사용자는 리타게팅 툴로 아바타의 몸에 애니메이션을 적용하거나 Audio2Face를 사용하여 얼굴 표정을 만드는 등 콘텐츠 생성을 포괄적으로 지원하는 Omniverse 내의 종합 툴 세트를 활용할 수 있습니다.

Omniverse Extension을 구축하기 위해 in3D는 Omniverse Kit를 사용하고, VSCode 컴퓨터 프로그램을 사용하여 개발 흐름을 따랐습니다. 울리야노프는 코드의 아무 곳에나 중단점을 넣을 수 있기 때문에 VSCode가 in3D를 Omniverse에 연결해주는 사용하기 쉽고 편리하며 즉시 사용 가능한 솔루션이라고 말했습니다.

그는 “3D 개발자를 위한 다른 소프트웨어와 함께 SDK를 중앙 집중화하는 기능은 판도를 바꾸고 있습니다. 이제 Omniverse Extensions 제공하여 아바타를 사용하는 개발자 기반을 확장하고자 합니다”라고 말합니다.

in3D의 최고 마케팅 책임자인 세르게이 셔먼(Sergei Sherman)은 “SDK를 업로드하고 3D 개발자가 사용하는 모든 툴과 연결할 수 있는 기능을 통해 in3D는 모든 3D 개발 환경에 배포할 수 있는 실질적인 솔루션이 됐습니다. 단시간에 우리 혼자서는 도저히 이룰 수 없는 일이었습니다”라고 말했습니다.