시뮬레이션 아이디어를 실제로 돌아가는 애플리케이션으로 만들려면 에셋을 모으고, 물리와 렌더링을 연결하고, 장면이 의도대로 작동하는지 확인해야 합니다. 개발자들은 프런티어 AI 모델을 NVIDIA Omniverse 라이브러리와 결합해 이 작업을 해내고 있는데요. 시나리오를 탐색하고 실패를 들여다보며 설계를 개선하는 애플리케이션을 만들어 내고 있습니다.
개발자는 자연어 지시로 AI 에이전트를 이끌고, 결과를 검토하며, 변경 방향을 잡아 줍니다. Omniverse 라이브러리는 GPU 가속 물리와 렌더링, 센서 시뮬레이션 역량을 제공하죠.
아래 프로젝트들을 둘러보며 GPT-6 Astra 같은 프런티어 AI 모델이 실제로 일하는 모습을 확인해 보세요. NVIDIA 팀과 생태계 전반의 개발자들이 내놓는 새로운 사례도 계속 추가될 예정입니다.
현장 스캔으로 편집 가능한 건물 모델 만들기 🔗
창고 자동화를 계획하려면 건물 자체의 모델이 있어야 하는데, 현장 스캔에서는 선반과 기계 설비가 건물 구조를 가려 버리기 일쑤입니다. Omniverse는 real-to-sim 도구와 에이전트 스킬을 한데 모아, 개발자가 현실을 촬영한 데이터를 피지컬 AI 시뮬레이션용 편집 가능한 출발 환경으로 바꿀 수 있도록 돕죠.
NVIDIA 시뮬레이션 기술 팀의 David Wehr는 여기에 Astra를 더해, 내부 집기를 걷어낸 건물만 디지털로 복원하는 워크플로우를 만들었습니다. 목표는 편집이 가능한, 시뮬레이션 준비를 마친 건물 모델인데요. 개발자는 여기에 선반과 기계를 넣거나 옮겨 보며 실제로 손대기 전에 창고 배치와 자동화 계획을 가늠해 볼 수 있습니다.
Wehr는 파노라마 사진을 해석하고 건물 지오메트리를 만든 뒤 포인트 클라우드 실측값에 맞춰 정렬하도록 Astra를 이끌었습니다. 모델은 OpenUSD가 담아 두고, 결과는 Omniverse의 ovrtx 라이브러리가 렌더링해 들여다볼 수 있게 해 주죠.
에이전트가 Omniverse 라이브러리로 개발하도록 돕는 NVIDIA Omniverse 에이전트 스킬을 살펴보세요.
디지털 트윈으로 가스터빈 운전 시나리오 시험하기 🔗
산업 설비의 운전 방식을 바꾸기에 앞서, 엔지니어에게는 그 결과를 미리 살펴볼 수단이 필요합니다. NVIDIA Omniverse 개발자 관계 팀의 Pradeep Kaushik은 시뮬레이션된 가스터빈과 발전기를 중심으로 한 what-if 분석 애플리케이션을 만들도록 Astra에 지시했죠.
이 애플리케이션에서는 부하와 외기 온도, 연료 조성 같은 조건을 조절한 뒤 출력과 효율, 연료 소비량, 설비 반응을 비교할 수 있습니다. 여섯 가지 시험 절차는 부하 변동과 연료 밸브 고착, 배기 센서 오류 같은 시나리오를 다룹니다.
이 프로토타입 덕분에 엔지니어는 운전 조건 변화와 고장이 설비 거동에 어떤 영향을 주는지 직접 조작하며 들여다볼 수 있고, 어떤 시나리오를 더 시험해 볼지 판단하는 데도 보탬이 되죠.
Astra는 열화학 계산에 Cantera를, 설비 동역학에 SciPy를 끌어다 썼습니다. 애플리케이션은 솔버 결과를 3D 터빈의 로터 애니메이션과 온도·압력·유속을 색으로 나타낸 지시계에 대응시킵니다. NVIDIA Omniverse 라이브러리는 장면을 갱신하고(ovstage), RTX로 렌더링하며(ovrtx), 그 화면을 브라우저로 스트리밍하죠(ovstream). 엔지니어는 단면도를 돌리고 확대하거나 지시계를 바꿔 가며 볼 수 있고, 차트와 가상 계기를 함께 띄운 채 시뮬레이션 반응을 멈추거나 구간을 앞뒤로 옮겨 볼 수 있습니다.
오픈 소스 SimReady 에셋으로 시뮬레이션 장면 만들기 🔗
GTC 베를린에서 공개된 SimReady Central Library를 이용하면, 개발자는 장비 제조사와 에셋 공급사가 내놓은 2,000개 이상의 시뮬레이션 준비 USD 에셋을 로보틱스 시뮬레이션과 AI 팩토리 디지털 트윈 워크플로우에 가져다 쓸 수 있죠.
NVIDIA Omniverse 문서화 팀의 Paul Kind는 AI 에이전트에 이 라이브러리를 알려 준 뒤, 대화를 주고받으며 장면 조립을 이끌었습니다. 그가 만든 주방 장면에는 라이브러리 에셋 63종에서 가져온 배치 180개와 직접 만든 지오메트리 18개가 들어갔죠. Kind는 Isaac Sim으로 뽑은 렌더링을 검토하며 추가 수정 방향을 잡아 줬습니다.
로보틱스와 공장 워크플로우에서는 필요한 작업에 맞게 시뮬레이션 속성이 내장된 SimReady 에셋을 골라, 조립한 환경에서 곧바로 시험해 볼 수 있습니다.
SimReady Central Library에서 에셋을 찾아보고, 기여하는 방법도 알아보세요.
대규모 창고 시뮬레이션의 한계 시험하기 🔗
창고 시뮬레이션은 로봇 팔과 컨베이어, 상자가 늘어나 장면을 채워도 매끄럽게 돌아가야 합니다.
속도가 떨어지면 무엇이 발목을 잡는지 개발자가 짚어낼 수 있어야 하죠. NVIDIA 수석 엔지니어 Bhavik Sanganee는 Astra와 NVIDIA Omniverse 라이브러리로 창고 시뮬레이션을 만들고, 복잡도를 끌어올리면서 성능이 떨어지는 지점을 파고들었습니다.
장면 규모를 두 배로 키우자 성능이 처음으로 목표치 아래로 떨어졌습니다. 물리 계산과 이미지 렌더링, 영상 준비를 동시에 돌리자 성능이 되살아났고 규모를 더 키울 여지도 생겼죠.
컨베이어 80대와 로봇 팔 40대, 상자 800개를 넣은 시뮬레이션은 2분간의 테스트에서 풀HD 해상도로 초당 30프레임을 유지했습니다. 로봇 팔은 상자를 640번 성공적으로 내려놓았고요.
장면을 한 번 더 두 배로 키우자 성능은 다시 떨어졌습니다. 테스트 결과 원인은 물리와 로봇 제어 파이프라인으로 좁혀졌고, Sanganee는 손볼 지점을 분명히 잡게 됐죠.
NVIDIA Omniverse 라이브러리로 개발을 시작해 보세요.
유연한 케이블 배선을 위한 로봇 제어 시험하기 🔗
전자 제품 조립 공정에서 로봇은 유연한 케이블을 부품 사이로 돌려 놓은 뒤 포트에 꽂아야 할 때가 있습니다. 케이블은 로봇이 움직이는 대로 휘고, 커넥터는 정확히 맞물려야 들어가죠.
NVIDIA 로보틱스 기술 마케팅 매니저 Oyindamola Omotuyi는 NVIDIA Isaac Lab과 Newton 물리, Omniverse 렌더링을 써서 Robotiq 그리퍼가 케이블을 다루는 로봇 시뮬레이션을 만들도록 Astra에 지시했습니다.
Astra는 학습한 케이블 배선 동작에 위치·자세 피드백과 USB-C 삽입을 위한 보정 동작을 결합한 강화 학습 시스템도 만들어 냈습니다. 덕분에 Omotuyi는 실제 로봇 실험으로 넘어가기 전에 케이블 취급과 커넥터 정렬을 시험해 볼 수 있었죠.
이 컨트롤러는 시뮬레이션이 직접 넘겨주는 정보를 사용했습니다. 다음 단계로는 마찰력으로 붙잡는 파지 방식을 시험하고, 실제 로봇이 카메라와 센서로 얻을 수 있는 정보를 활용하는 방안이 꼽힙니다.
NVIDIA Isaac Lab에서 로봇 학습을 시작해 보세요.
로봇의 컴퓨터 지원 설계 데이터를 SimReady 에셋으로 바꾸기 🔗
로봇이 상자를 집어 옮길 수 있는지 시험하기 전에, 개발자에게는 관절이 제대로 움직이고 그리퍼가 물체를 붙잡을 수 있는 시뮬레이션 모델이 필요합니다. 컴퓨터 지원 설계(CAD) 모델은 로봇의 형상을 알려 주지만, 작업을 수행하려면 물리 속성까지 갖춰야 하죠.
개발자들은 ABB Robotics의 YuMi 로봇을 대상으로, NVIDIA Omniverse 콘텐츠 라이브러리와 함께 Astra에 CAD 파일을 OpenUSD로 변환하고 로봇 외형을 참조 이미지에 맞추며 관절과 충돌 지오메트리를 설정하도록 지시했습니다. 그리고 NVIDIA Isaac Sim에서 시험하기 전에 이 에셋이 SimReady Foundation 요건을 충족하는지 확인했죠.
양쪽 팔과 그리퍼는 시뮬레이션된 손가락 접촉과 마찰을 이용해 정육면체를 집어 옮기는 동작을 네 차례 완수했습니다. 다만 이 테스트가 보여 준 것은 시뮬레이션 조건에서의 거동이며, 추정한 물리 속성을 실제 로봇에 맞춰 보정하지는 않았습니다.
다섯 단계로 정리한 SimReady 튜토리얼을 따라가 보세요.
창고 환경을 위한 휴머노이드 시뮬레이터 만들기 🔗
1인칭과 3인칭 시점으로 휴머노이드 로봇을 조작하는, 게임처럼 즐기는 물리 기반 제어.
창고 작업을 자동화하기에 앞서, 개발자에게는 작업 거동을 살펴보고 일이 어떻게 처리되는지 평가할 인터랙티브 시뮬레이션 환경이 필요합니다. NVIDIA Omniverse 제품 관리자 Frank DeLise는 Astra를 활용해 SimReady 창고와 휴머노이드 로봇을 1인칭·3인칭 시점을 갖춘 인터랙티브 시뮬레이터로 바꿔 놓았죠.
DeLise는 물리(ovphysx)와 장면 업데이트(ovstage), 렌더링(ovrtx), 사용자 인터페이스(ovui)를 담당하는 NVIDIA Omniverse 라이브러리를 연결하도록 Astra에 지시했습니다. 또한 SimReady(simready-foundation)와 함께 Astra를 써서 시뮬레이션 속 물리 장면을 만들었죠. 그다음 Astra가 애니메이션과 애플리케이션 코드를 생성해 이 역량들을 하나로 묶었습니다.
프런티어 AI 모델과 NVIDIA Omniverse 라이브러리로 SimReady 로봇 에셋을 준비하고 검증하는 방법을 알아보세요.
자율주행 테스트 워크플로우 연결하기 🔗
장면이나 센서, 주행 모델을 바꾸면 자율주행차 시뮬레이션이 크게 달라질 수 있습니다. NVIDIA 시뮬레이션 기술 팀 매니저 Doyub Kim은 Astra에 샌프란시스코 마켓 스트리트를 바탕으로 한 재사용 가능한 시뮬레이션 환경 Zero to Alpamayo를 만들어 달라고 요청했죠.
Kim은 Astra가 워크플로우를 먼저 설계한 뒤 에셋 생성과 교통, Omniverse RTX 센서 시뮬레이션, Alpamayo 주행을 단계별로 연결하며 각 통합을 점검하도록 이끌었습니다. 그렇게 나온 프로토타입은 모델을 비교하고, 장면이나 센서의 변화가 이후 주행 거동에 어떤 영향을 주는지 추적하는 시험장이 됐죠. 별도로 진행한 Cosmos3-Nano 실험에서는 녹화된 시뮬레이션 영상의 날씨와 조명을 바꿔, 같은 시나리오에서 조건만 달리했을 때 주행 모델의 반응이 어떻게 달라지는지 비교할 수 있었습니다.
센서 차이를 활용해 디지털 트윈을 만들고 개선하기 🔗
녹화된 카메라·라이다 출력과 시뮬레이션 출력을 비교하면 장면을 다듬는 데 필요한 핵심성과지표(KPI) 기반 피드백을 얻을 수 있다.
로봇과 자율주행차를 테스트하려면 시뮬레이션 센서가 실제 센서와 얼마나 가까운지 알아야 합니다. NVIDIA에서 RTX 센서 검증을 맡고 있는 Ashley Reid는 Astra와 Claude Fable 5 에이전트에 ovrtx 카메라와 원시 LiDAR 출력을 녹화 데이터와 비교하도록 지시했습니다. 에이전트들은 디지털 트윈 두 개를 처음부터 만들어 냈고, 기존 두 개는 개선했죠.
Reid는 약 사흘에 걸쳐 반복적인 워크플로우를 이끌었습니다. 에이전트가 차이를 측정하고, OpenUSD 장면을 만들거나 수정한 뒤, 결과를 확인하는 과정이었죠. 수정은 빠진 사물과 지오메트리, 재질을 중심으로 이뤄졌고, 채택 여부는 카메라와 LiDAR 지표에 따라 갈렸습니다. 이로써 개발자는 측정된 차이를 근거로 장면을 만들고 개선할 길을 얻게 됐습니다.
ovrtx 최소 Python 예제로 OpenUSD 장면을 렌더링하는 것부터 시작한 뒤, 녹화 데이터와 비교할 센서 측정 기준을 정해 보세요.
로보 올림픽: 시뮬레이션으로 로봇의 기술을 시험하다 🔗
로봇에게 새로운 동작을 가르친다는 것은 그 동작이 물리적 제약 아래에서도 통하는지 확인한다는 뜻입니다. NVIDIA Omniverse 엔지니어링·제품 총괄 Tae Kim은 스포츠 영상과 자연어 지시를 활용해, 시뮬레이션 속 Unitree G1 휴머노이드가 스포츠 동작을 수행하는 실험 프로젝트 Robo Olympics를 만들도록 Astra를 이끌었죠.
Kim의 지휘 아래 Astra는 컨트롤러를 만들고 물리 시험을 거치며 다듬어 나갔습니다. Newton 물리 엔진이 거동을 시뮬레이션하고, 오픈 소스 프레임워크 NVIDIA Warp가 계산을 가속했으며, ovrtx가 장면과 가상 카메라 이미지를 렌더링했죠. 한 실험에서는 로봇이 100번의 시뮬레이션 시도 중 64번 허들 하나를 넘었습니다. 이 시도들은 로봇의 타이밍과 제어를 개선할 피드백이 됐습니다.
Kim이 Astra와 NVIDIA Omniverse 라이브러리로 시뮬레이션을 만들어 가는 과정을 영상으로 확인해 보세요.
컴퓨터 지원 설계와 시뮬레이션으로 로봇 분해 작업 시험하기 🔗
로봇이 제품을 분해하기에 앞서, 개발자는 로봇의 도구가 부품에 닿아 떼어낼 수 있는지부터 알아야 합니다. NVIDIA OpenUSD 선임 제품 관리자 Jens Jebens는 Astra에 PTC Onshape에서 자동차 서스펜션을 모델링하고 이를 NVIDIA Isaac Sim에서 구성하도록 지시했죠.
Jebens는 Astra와 함께 시뮬레이션에 근거한 로봇용 컴퓨터 지원 설계와 공구 개선안을 탐색했습니다. 에이전트는 사용 가능한 공간을 측정하고, 로봇이 서스펜션의 볼트에 닿을 수 있는 렌치를 설계했죠. Jebens는 시뮬레이션에서 서스펜션 부품을 성공적으로 분리했다고 밝혔습니다. 이는 설계와 공구 선택을 분해 결과와 이어 주며, 로봇 정책 학습의 출발점이 돼 줍니다.
Onshape 임포터 가이드를 살펴보세요.
국제우주정거장을 브라우저 안으로 🔗
3D 모델을 애플리케이션으로 만들려면 에셋과 실시간 데이터, 인터페이스를 연결해야 합니다. NVIDIA 엔지니어링 디렉터 Nic Johns는 NASA 에셋을 텔레메트리가 담긴 OpenUSD 국제우주정거장 모델로 조립하도록 Astra에 프롬프트를 건넸습니다. Johns는 프롬프트 하나로 애플리케이션을 만든 뒤, 후속 프롬프트로 장면을 지구의 낮 쪽으로 옮겨 지구가 보이게 했죠.
이 워크플로우는 에셋 준비에 Blender를, 렌더링(ovrtx)과 장면 런타임(ovstage), 스트리밍(ovstream)에 Omniverse 라이브러리를 활용했습니다. 이 애플리케이션은 3D 모델과 운영 데이터를 브라우저로 가져오며, Johns는 프롬프트와 수정을 거듭하며 개발을 이끌었습니다.
Omniverse Real-Time Viewer 스킬을 사용해 보세요.
촬영한 공간을 테스트 환경으로 바꾸기 🔗
디지털로 복원한 공간은 개발자가 상호작용을 시험하기 전에 편집 가능한 사물과 정확한 물리 거동을 갖춰야 합니다. NVIDIA Isaac 엔지니어링 애플리케이션 팀의 Chirag Majithia는 스테레오 카메라로 촬영한 장면을 편집 가능한 OpenUSD 스튜디오로 바꾸도록 Astra에 지시했죠.
이 워크플로우는 복원에 PyCuSFM과 FoundationStereo, nvblox를 함께 썼고, 사물 선택과 배치는 사용자 검토를 거쳐 정해졌습니다. Astra는 생성된 에셋과 Blender로 제작한 에셋을 조립하고, USD Content Agents를 활용해 시뮬레이션에서 사물이 어떻게 움직이고 상호작용할지 설정했죠. Isaac Sim 테스트는 문과 서랍의 충돌·접촉을 어떻게 고칠지 알려 줬습니다. 이 스튜디오는 촬영된 지오메트리를 상호작용 테스트와 이어 줘, 빈틈과 사물의 거동을 더 쉽게 들여다볼 수 있게 합니다.
시뮬레이션 아이디어가 있으신가요? NVIDIA Omniverse 라이브러리를 둘러보고 AI 에이전트와 함께 만들어 보세요.