Into the Omniverse: 피지컬 AI 오픈 모델과 프레임워크가 이끄는 로봇 및 자율 시스템의 진화

1월 28, 2026 by NVIDIA Korea

에디터 주: 이 포스팅은 개발자, 3D 전문가 및 기업이 OpenUSD와 NVIDIA Omniverse의 최신 기술을 활용해 워크플로우를 혁신하는 방법을 다루는 ‘Into the Omniverse‘ 시리즈의 일부입니다.

오픈 소스는 로보틱스와 자율 주행 분야의 혁신을 주도하는 필수 요소로 자리 잡았습니다. NVIDIA는 시뮬레이션 프레임워크부터 AI 모델에 이르기까지 핵심 인프라에 대한 접근성을 제공함으로써, 더 안전하고 유능한 자율 시스템 구축을 앞당기는 협업 개발 환경을 지원하고 있습니다.

지난달 초 열린 CES 2026에서 NVIDIA는 휴머노이드, 자율 주행 차량 및 기타 피지컬 AI 개체의 개발을 가속화할 새로운 피지컬 AI 오픈 모델 및 프레임워크 스위트를 발표했습니다. 이 도구들은 고정밀 월드 시뮬레이션과 합성 데이터 생성부터 클라우드 네이티브 오케스트레이션 및 엣지 배포에 이르기까지 로봇 개발 수명 주기 전반을 아우르며, 개발자가 실제 환경에서 추론하고 배우고 행동하는 자율 시스템을 구축할 수 있도록 모듈형 툴킷을 제공합니다.

OpenUSD는 이러한 피지컬 AI 도구 간에 3D 데이터를 공유하고 표준화하는 공통 프레임워크를 제공하여, 개발자가 정확한 디지털 트윈을 구축하고 시뮬레이션부터 배포까지 이를 원활하게 재사용할 수 있게 해줍니다. OpenUSD를 기반으로 구축된 NVIDIA Omniverse 라이브러리는 전체 기술 스택에 그라운드 트루스 시뮬레이션을 공급하는 핵심 원천 역할을 합니다.

연구실에서 전시장으로: 실전으로 나온 기술들

CES 2026에서 개발자들은 NVIDIA 피지컬 AI 스택을 연구실 밖으로 가져와 실제 전시장으로 옮겨 놓았습니다. 중장비와 공장 조수부터 소셜 및 서비스 로봇에 이르기까지, 다양한 기계들이 이 스택을 기반으로 개발되었습니다.

이 스택은 NVIDIA Cosmos 월드 모델, 정책 평가를 위한 새로운 오픈 소스 프레임워크인 Isaac Lab-Arena를 포함한 NVIDIA Isaac 기술, 자율 주행 차량을 위한 AI 모델·시뮬레이션 프레임워크·피지컬 AI 데이터셋의 오픈 포트폴리오인 NVIDIA Alpamayo, 그리고 컴퓨팅 환경 전반에서 학습을 조율하는 NVIDIA OSMO 프레임워크를 활용합니다.

Caterpillar의 ‘Cat AI Assistant’는 에이전틱 AI를 위한 NVIDIA Nemotron 오픈 모델로 구동되며 NVIDIA Jetson Thor 엣지 AI 모듈에서 실행되어, 중장비 조종석에 자연어 상호작용 기능을 도입했습니다. 장비 조작자는 “이 캐트(Hey Cat)”와 같은 방식으로 질문하여 단계별 가이드를 받거나 음성으로 안전 파라미터를 조정할 수 있습니다.

보이지 않는 곳에서 캐터필러는 Omniverse 라이브러리를 사용하여 공장 및 작업 현장의 디지털 트윈을 구축하고, 이를 통해 레이아웃, 교통 패턴, 다중 장비 워크플로우 시뮬레이션을 수행합니다. 이러한 인사이트는 실제 작업 현장에 변경 사항이 적용되기 전 장비와 차량 함대(fleet)에 피드백되어, AI 보조 기반의 운영을 더욱 안전하고 효율적으로 만듭니다.

LEM Surgical은 척추 수술용으로 FDA 승인을 받고 실제 임상에서 사용 중인 ‘Dynamis’ 로봇 수술 시스템을 전시했습니다. 이 차세대 시스템은 연산을 위해 NVIDIA Jetson AGX Thor를, 실시간 센서 처리에는 NVIDIA Holoscan을, 그리고 자율 로봇 팔 학습에는 NVIDIA Isaac for Healthcare를 사용합니다.

또한 LEM Surgical은 물리 기반 합성 데이터를 생성할 수 있는 완전 맞춤형 오픈 월드 모델인 NVIDIA Cosmos Transfer를 사용하여 합성 학습 데이터를 생성하고, NVIDIA Isaac Sim 프레임워크를 디지털 트윈 시뮬레이션에 활용합니다. 경조직(hard-tissue) 수술용 쌍완(dual-arm) 휴머노이드 수술 로봇으로 설계된 Dynamis 시스템은 외과의의 손재주를 모방하여 복잡한 척추 수술의 정밀도를 높이는 동시에, 의사와 수술 보조원의 신체적 부담을 덜어줍니다.

NEURA Robotics는 전체 NVIDIA 스택을 활용하여 인지 로봇을 구축하고 있습니다. 이들은 가정 및 작업 현장에 배치하기 전, OpenUSD 기반의 디지털 트윈 환경에서 Isaac Sim과 Isaac Lab을 사용해 휴머노이드 ‘4NE1’과 서비스 로봇 ‘MiPA’를 학습시켰습니다. 또한 자사 플랫폼에 최적화된 Isaac GR00T 파운데이션 모델을 구축하기 위해 NVIDIA Isaac GR00T-Mimic을 활용한 사후 학습(post-training) 과정을 거쳤습니다.

더불어 NEURA Robotics는 SAP 및 NVIDIA와 협력하여 SAP의 Joule 에이전트를 로봇과 통합하고 있습니다. 이 과정에서 Mega NVIDIA Omniverse Blueprint를 활용해, 복잡하고 실제적인 운영 시나리오 속에서 로봇의 행동을 시뮬레이션하고 정교하게 다듬습니다. 이렇게 검증된 에이전트와 행동 양식은 NEURA의 ‘Neuraverse’ 생태계는 물론 실제 현장의 로봇들에도 적용될 예정입니다.

AgiBot은 자사 ‘Genie Envisioner(GE-Sim)’ 플랫폼의 월드 모델링 백본으로 NVIDIA Cosmos Predict 2를 사용합니다. 이를 통해 강력한 시각적·물리적 사전 지식을 바탕으로 동작 조건부(action-conditioned) 비디오를 생성할 수 있습니다. 이러한 데이터를 Isaac Sim 및 Isaac Lab과 결합하고 AgiBot의 자체 데이터로 사후 학습을 진행함으로써, Genie Envisioner에서 개발된 정책이 ‘Genie2’ 휴머노이드와 Jetson Thor 기반의 컴팩트한 탁상용 로봇으로 더욱 안정적으로 전이될 수 있도록 했습니다.

Intbot은 소셜 로봇에 실세계에 대한 ‘육감’을 부여하기 위해 NVIDIA Cosmos Reason 2 오픈 모델을 활용하고 있습니다. 단순히 정해진 스크립트를 따르는 수준을 넘어, 모델의 추론 능력을 통해 복잡한 사회적 신호와 안전 맥락을 식별합니다. Intbot은 ‘Cosmos Cookbook’ 레시피를 통해 추론형 시각 언어 모델(VLM)이 로봇으로 하여금 언제 말을 해야 할지 결정하고, 인간과 더 자연스럽게 상호작용하도록 돕는 과정을 보여줍니다.

로봇 개발자를 위한 새로운 툴킷과 프레임워크 활용법

NVIDIA는 최근 휴머노이드의 이동 및 조작(loco-manipulation)을 위한 Agile 엔진을 출시했습니다. Isaac Lab을 기반으로 하는 이 엔진은 Unitree G1이나 LimX Dynamics TRON과 같은 플랫폼에서 견고한 강화학습 정책을 학습시키기 위해, Sim-to-Real 검증이 완료된 전체 워크플로우를 패키지 형태로 제공합니다.

로봇 개발자들은 Agile에 내장된 작업 설정, 의사결정을 위한 마르코프 결정 과정(MDP) 수학 모델, 학습 유틸리티 및 결정론적 평가 도구를 사용하여 정책을 미세 조정할 수 있습니다. 이후 Isaac Lab에서 이러한 정책에 대한 스트레스 테스트를 수행함으로써, 보행 및 전신 동작 제어 기술을 실제 로봇에 더욱 안정적이고 효율적으로 이식할 수 있습니다.

Hugging Face와 NVIDIA는 NVIDIA Isaac GR00T N 모델과 시뮬레이션 프레임워크를 LeRobot 생태계에 통합하며 로보틱스 커뮤니티의 결속을 강화하고 있습니다. 이제 개발자들은 LeRobot 내에서 Isaac GR00T N1.6 모델과 Isaac Lab-Arena에 직접 액세스하여 정책 학습 및 평가 과정을 획기적으로 간소화할 수 있습니다.

또한, Hugging Face의 오픈 소스 휴머노이드인 Reachy 2가 NVIDIA Jetson Thor와 완벽하게 상호 운용되면서, 강력한 실세계 성능을 위한 최첨단 시각 언어 행동(VLA) 모델을 하드웨어에 즉시 배포할 수 있게 되었습니다.

스마트 서보, 산업용 액추에이터 및 휴머노이드 플랫폼 분야의 선도 기업인 로보티즈(ROBOTIS)는 NVIDIA Isaac 기술을 활용해 오픈 소스 Sim-to-Real 파이프라인을 구축했습니다. 이 워크플로우는 Isaac Sim의 고정밀 데이터 생성을 시작으로, GR00T-Mimic을 통한 학습 데이터 증강을 거쳐, 최종적으로 VLA 기반의 Isaac GR00T N 모델을 미세 조정하여 하드웨어에 직접 배포하는 방식으로 진행됩니다. 이를 통해 시뮬레이션에서 학습된 기술을 실제 환경의 복잡한 작업으로 전이하는 속도가 비약적으로 빨라졌습니다.

더 알아보기

아래 리소스들을 통해 OpenUSD와 로보틱스 개발에 관한 더 자세한 정보를 확인해 보세요.