시뮬레이션 아이디어를 실제로 돌아가는 애플리케이션으로 만들려면 에셋을 모으고, 물리와 렌더링을 연결하고, 장면이 의도대로 작동하는지 확인해야 합니다. 개발자들은 프런티어 AI 모델을 NVIDIA Omniverse 라이브러리와 결합해 이 작업을 해내고 있는데요. 시나리오를 탐색하고 실패를 들여다보며 설계를 개선하는 애플리케이션을 만들어 내고 있습니다.
개발자는 자연어 지시로 AI 에이전트를 이끌고, 결과를 검토하며, 변경 방향을 잡아 줍니다. Omniverse 라이브러리는 GPU 가속 물리와 렌더링, 센서 시뮬레이션 역량을 제공하죠.
아래 프로젝트들을 둘러보며 GPT-6 Astra 같은 프런티어 AI 모델이 실제로 일하는 모습을 확인해 보세요. NVIDIA 팀과 생태계 전반의 개발자들이 내놓는 새로운 사례도 계속 추가될 예정입니다.
창고 환경을 위한 휴머노이드 시뮬레이터 만들기 🔗
1인칭과 3인칭 시점으로 휴머노이드 로봇을 조작하는, 게임처럼 즐기는 물리 기반 제어.
창고 작업을 자동화하기에 앞서, 개발자에게는 작업 거동을 살펴보고 일이 어떻게 처리되는지 평가할 인터랙티브 시뮬레이션 환경이 필요합니다. NVIDIA Omniverse 제품 관리자 Frank DeLise는 Astra를 활용해 SimReady 창고와 휴머노이드 로봇을 1인칭·3인칭 시점을 갖춘 인터랙티브 시뮬레이터로 바꿔 놓았습니다.
DeLise는 물리(ovphysx)와 장면 업데이트(ovstage), 렌더링(ovrtx), 사용자 인터페이스(ovui)를 담당하는 NVIDIA Omniverse 라이브러리를 연결하도록 Astra에 지시했습니다. 또한 SimReady(simready-foundation)와 함께 Astra를 써서 시뮬레이션 속 물리 장면을 만들었죠. 그다음 Astra가 애니메이션과 애플리케이션 코드를 생성해 이 역량들을 하나로 묶었습니다.
프런티어 AI 모델과 NVIDIA Omniverse 라이브러리로 SimReady 로봇 에셋을 준비하고 검증하는 방법을 알아보세요.
자율주행 테스트 워크플로우 연결하기 🔗
장면이나 센서, 주행 모델을 바꾸면 자율주행차 시뮬레이션이 크게 달라질 수 있습니다. NVIDIA 시뮬레이션 기술 팀 매니저 Doyub Kim은 Astra에 샌프란시스코 마켓 스트리트를 바탕으로 한 재사용 가능한 시뮬레이션 환경 Zero to Alpamayo를 만들어 달라고 요청했습니다.
Kim은 Astra가 워크플로우를 먼저 설계한 뒤 에셋 생성과 교통, Omniverse RTX 센서 시뮬레이션, Alpamayo 주행을 단계별로 연결하며 각 통합을 점검하도록 이끌었습니다. 그렇게 나온 프로토타입은 모델을 비교하고, 장면이나 센서의 변화가 이후 주행 거동에 어떤 영향을 주는지 추적하는 시험장이 됐죠. 별도로 진행한 Cosmos3-Nano 실험에서는 녹화된 시뮬레이션 영상의 날씨와 조명을 바꿔, 같은 시나리오에서 조건만 달리했을 때 주행 모델의 반응이 어떻게 달라지는지 비교할 수 있었습니다.
센서 차이를 활용해 디지털 트윈을 만들고 개선하기 🔗
녹화된 카메라·라이다 출력과 시뮬레이션 출력을 비교하면 장면을 다듬는 데 필요한 핵심성과지표(KPI) 기반 피드백을 얻을 수 있다.
로봇과 자율주행차를 테스트하려면 시뮬레이션 센서가 실제 센서와 얼마나 가까운지 알아야 합니다. NVIDIA에서 RTX 센서 검증을 맡고 있는 Ashley Reid는 Astra와 Claude Fable 5 에이전트에 ovrtx 카메라와 원시 LiDAR 출력을 녹화 데이터와 비교하도록 지시했습니다. 에이전트들은 디지털 트윈 두 개를 처음부터 만들어 냈고, 기존 두 개는 개선했죠.
Reid는 약 사흘에 걸쳐 반복적인 워크플로우를 이끌었습니다. 에이전트가 차이를 측정하고, OpenUSD 장면을 만들거나 수정한 뒤, 결과를 확인하는 과정이었죠. 수정은 빠진 사물과 지오메트리, 재질을 중심으로 이뤄졌고, 채택 여부는 카메라와 LiDAR 지표에 따라 갈렸습니다. 이로써 개발자는 측정된 차이를 근거로 장면을 만들고 개선할 길을 얻게 됐습니다.
ovrtx 최소 Python 예제로 OpenUSD 장면을 렌더링하는 것부터 시작한 뒤, 녹화 데이터와 비교할 센서 측정 기준을 정해 보세요.
로보 올림픽: 시뮬레이션으로 로봇의 기술을 시험하다 🔗
로봇에게 새로운 동작을 가르친다는 것은 그 동작이 물리적 제약 아래에서도 통하는지 확인한다는 뜻입니다. NVIDIA Omniverse 엔지니어링·제품 총괄 Tae Kim은 스포츠 영상과 자연어 지시를 활용해, 시뮬레이션 속 Unitree G1 휴머노이드가 스포츠 동작을 수행하는 실험 프로젝트 Robo Olympics를 만들도록 Astra를 이끌었습니다.
Kim의 지휘 아래 Astra는 컨트롤러를 만들고 물리 시험을 거치며 다듬어 나갔습니다. Newton 물리 엔진이 거동을 시뮬레이션하고, 오픈 소스 프레임워크 NVIDIA Warp가 계산을 가속했으며, ovrtx가 장면과 가상 카메라 이미지를 렌더링했죠. 한 실험에서는 로봇이 100번의 시뮬레이션 시도 중 64번 허들 하나를 넘었습니다. 이 시도들은 로봇의 타이밍과 제어를 개선할 피드백이 됐습니다.
Kim이 Astra와 NVIDIA Omniverse 라이브러리로 시뮬레이션을 만들어 가는 과정을 영상으로 확인해 보세요.
컴퓨터 지원 설계와 시뮬레이션으로 로봇 분해 작업 시험하기 🔗
로봇이 제품을 분해하기에 앞서, 개발자는 로봇의 도구가 부품에 닿아 떼어낼 수 있는지부터 알아야 합니다. NVIDIA OpenUSD 선임 제품 관리자 Jens Jebens는 Astra에 PTC Onshape에서 자동차 서스펜션을 모델링하고 이를 NVIDIA Isaac Sim에서 구성하도록 지시했습니다.
Jebens는 Astra와 함께 시뮬레이션에 근거한 로봇용 컴퓨터 지원 설계와 공구 개선안을 탐색했습니다. 에이전트는 사용 가능한 공간을 측정하고, 로봇이 서스펜션의 볼트에 닿을 수 있는 렌치를 설계했죠. Jebens는 시뮬레이션에서 서스펜션 부품을 성공적으로 분리했다고 밝혔습니다. 이는 설계와 공구 선택을 분해 결과와 이어 주며, 로봇 정책 학습의 출발점이 돼 줍니다.
Onshape 임포터 가이드를 살펴보세요.
국제우주정거장을 브라우저 안으로 🔗
3D 모델을 애플리케이션으로 만들려면 에셋과 실시간 데이터, 인터페이스를 연결해야 합니다. NVIDIA 엔지니어링 디렉터 Nic Johns는 NASA 에셋을 텔레메트리가 담긴 OpenUSD 국제우주정거장 모델로 조립하도록 Astra에 프롬프트를 건넸습니다. Johns는 프롬프트 하나로 애플리케이션을 만든 뒤, 후속 프롬프트로 장면을 지구의 낮 쪽으로 옮겨 지구가 보이게 했죠.
이 워크플로우는 에셋 준비에 Blender를, 렌더링(ovrtx)과 장면 런타임(ovstage), 스트리밍(ovstream)에 Omniverse 라이브러리를 활용했습니다. 이 애플리케이션은 3D 모델과 운영 데이터를 브라우저로 가져오며, Johns는 프롬프트와 수정을 거듭하며 개발을 이끌었습니다.
Omniverse Real-Time Viewer 스킬을 사용해 보세요.
촬영한 공간을 테스트 환경으로 바꾸기 🔗
디지털로 복원한 공간은 개발자가 상호작용을 시험하기 전에 편집 가능한 사물과 정확한 물리 거동을 갖춰야 합니다. NVIDIA Isaac 엔지니어링 애플리케이션 팀의 Chirag Majithia는 스테레오 카메라로 촬영한 장면을 편집 가능한 OpenUSD 스튜디오로 바꾸도록 Astra에 지시했습니다.
이 워크플로우는 복원에 PyCuSFM과 FoundationStereo, nvblox를 함께 썼고, 사물 선택과 배치는 사용자 검토를 거쳐 정해졌습니다. Astra는 생성된 에셋과 Blender로 제작한 에셋을 조립하고, USD Content Agents를 활용해 시뮬레이션에서 사물이 어떻게 움직이고 상호작용할지 설정했죠. Isaac Sim 테스트는 문과 서랍의 충돌·접촉을 어떻게 고칠지 알려 줬습니다. 이 스튜디오는 촬영된 지오메트리를 상호작용 테스트와 이어 줘, 빈틈과 사물의 거동을 더 쉽게 들여다볼 수 있게 합니다.
시뮬레이션 아이디어가 있으신가요? NVIDIA Omniverse 라이브러리를 둘러보고 AI 에이전트와 함께 만들어 보세요.