Into the Omniverse: 오픈소스 물리 엔진과 OpenUSD가 이끄는 로봇 학습의 진화

편집자 노트: 이 블로그는 개발자, 3D 전문가 및 기업이 최신 OpenUSD 및 NVIDIA Omniverse 기술을 사용하여 워크플로우를 혁신하는 방법을 집중적으로 다루는 ‘Into the Omniverse‘ 시리즈의 게시물 중 하나입니다.

공장, 병원, 공공장소에서 인간 작업자와 함께 효과적으로 작동할 수 있는 로봇을 구축하는 것은 거대한 기술적 과제입니다. 이러한 로봇은 예측 불가능한 실제 환경을 실시간으로 탐색하기 위해 인간과 같은 손재주, 인식, 인지 능력 및 전신 협응력이 필요합니다.

‘시뮬레이션 우선(sim-first)‘ 접근 방식은 시뮬레이션 환경에서 실제 로봇이 수집한 데이터와 합성 데이터를 사용하여 수백 또는 수천 개의 로봇 인스턴스를 병렬로 훈련시킴으로써 이러한 핵심 기술을 구현할 수 있게 해줍니다. Universal Scene Description(OpenUSD)은 이러한 고급 로봇 개발을 위한 기본 프레임워크를 제공합니다. 이는 개발자가 물리적으로 정확한 가상 세계를 구축할 수 있도록 지원하는 확장 가능하고 상호 운용 가능한 데이터 표준 역할을 합니다. 로봇은 이 가상 세계에서 기술을 연습하고 완성한 후 실제 애플리케이션으로 이전할 수 있습니다.

피지컬 AI(Physical AI) 개발 가속화

NVIDIA는 서울에서 열린 로봇 학습 컨퍼런스(Conference on Robot Learning)에서 다음과 같은 오픈소스 물리 시뮬레이션, 개방형 파운데이션 모델, 개발 프레임워크 분야의 획기적인 발전을 발표했습니다.

Newton 물리 엔진: 로봇은 시뮬레이션에서 더 빠르고 안전하게 학습하지만, 복잡한 관절, 균형, 움직임을 가진 휴머노이드 로봇은 오늘날의 물리 엔진을 한계까지 밀어붙이고 있습니다.

Google DeepMind, Disney Research, NVIDIA가 공동 개발하고 Linux Foundation이 관리하는 Newton은 로봇 학습의 발전을 위한 오픈소스 GPU 가속 물리 엔진입니다.

NVIDIA Warp와 OpenUSD를 기반으로 구축된 Newton은 MuJoCo Playground 및 NVIDIA Isaac Lab과 같은 로봇 학습 프레임워크와 원활하게 연동되면서 로봇이 복잡한 작업을 더 정밀하게 학습할 수 있도록 지원합니다.

Isaac GR00T N1.6: 물리적인 세계에서 인간과 유사한 작업을 수행하기 위해, 휴머노이드 로봇은 모호한 지침을 이해하고 예측하지 못한 시나리오에 대처해야 합니다. Hugging Face에서 곧 제공될 최신 Isaac GR00T N1.6 개방형 로봇 파운데이션 모델은 피지컬 AI(Physical AI)를 위해 구축된 개방형 추론 비전 언어 모델인 NVIDIA Cosmos Reason을 통합합니다. Cosmos Reason은 로봇의 깊이 생각하는 두뇌 역할을 하며, 사전 지식, 상식, 물리적 이해를 사용하여 모호한 지침을 단계별 행동 계획으로 변환합니다.

NVIDIA Isaac Lab: NVIDIA Isaac Sim과 OpenUSD를 기반으로 구축된 오픈소스 모듈형 로봇 학습 프레임워크인 Isaac Lab의 최신 버전이 이제 초기 개발자 릴리스로 제공됩니다. 버전 2.3은 로보틱스 연구원 및 개발자에게 고급 전신 제어 및 데이터 수집을 위한 확장된 원격 조작을 포함하여 수많은 새로운 기능을 제공합니다.

OpenUSD의 상호 운용성은 이러한 고급 물리 시뮬레이션, 파운데이션 모델, 학습 프레임워크가 원활하게 함께 작동하도록 보장하며, 개발자가 다양한 플랫폼과 배포 시나리오에 걸쳐 확장 가능한 통합 로봇 학습 파이프라인을 구축할 수 있도록 합니다.

개발자들이 로봇 학습을 가속화하는 방법

Agility Robotics, Lightwheel, Mentee, Universal Robots, Wandelbots를 포함한 선도적인 휴머노이드 및 로보틱스 개발사들은 시뮬레이션 기술과 라이브러리를 채택하여 피지컬 AI 개발 및 배포를 가속화하고 있습니다.

• Agility Robotics는 NVIDIA Isaac Lab을 사용하여 자사의 Digit 로봇을 위한 전신 제어 파운데이션 모델을 훈련합니다. Isaac Sim과 OpenUSD는 고객 시설의 정밀한 디지털 트윈 생성을 가능하게 하여, 로봇을 배포하기 전에 운영을 최적화할 수 있는 확장 가능한 방법을 제공합니다.
• Lightwheel은 NVIDIA Omniverse를 기반으로 Lightwheel 시뮬레이션 플랫폼을 개발했습니다. 또한 Lightwheel은 NVIDIA USD Search API를 사용하는 시뮬레이션 지원 에셋(simulation-ready assets)을 구축하여 에셋 검색을 간소화하고 정확한 디지털 트윈을 조립함으로써 로보틱스 개발자들이 훈련 및 시뮬레이션 워크플로우를 가속화할 수 있도록 돕고 있습니다.
• Mentee Robotics는 NVIDIA의 3가지 컴퓨터 아키텍처를 활용하여 MenteeBot의 정교한 학습 능력을 개발하며, Isaac Sim에서 합성 데이터 생성 파이프라인을 개발하기 위한 기반으로 OpenUSD를 사용합니다.
• Universal Robots는 포괄적인 로봇 시뮬레이션 및 학습을 위해 NVIDIA Isaac 플랫폼을 사용하며, OpenUSD를 활용하여 제조 환경의 상호 운용 가능한 디지털 트윈을 생성합니다. 이를 통해 코봇(cobot) 안전 프로토콜을 검증하고 다양한 산업 환경에서 인간-로봇 상호작용을 최적화합니다. Universal Robots 생태계의 파트너인 Inbolt는 로봇이 주변 환경에 즉시 적응할 수 있도록 하는 동적 비전 가이던스 시스템을 제공하여 생산 변동에 쉽게 대처하도록 합니다.
• 독일의 로보틱스 소프트웨어 회사인 Wandelbots는 폭스바겐의 드레스덴 투명 공장(Transparent Factory)에서 자동화 프로젝트 기간을 단축하는 데 기여하고 있습니다. 개발자들은 Isaac Sim과 깊이 통합된 로보틱스 플랫폼인 Wandelbots NOVA를 사용하여, 배포 전에 가상 트윈(virtual twin)으로 픽앤플레이스(pick-and-place) 애플리케이션을 구축, 훈련, 테스트 및 검증할 수 있습니다.

NVIDIA의 오픈 프레임워크와 라이브러리는 로보틱스 커뮤니티의 개발자들 사이에서도 채택되고 있습니다. 커뮤니티 멤버이자 NVIDIA Omniverse 앰배서더인 Dylan Tobin은 개발자들이 Omniverse를 더 효율적으로 활용할 수 있도록 돕기 위해 Isaac Sim 워크플로우로 훈련된 AI 챗봇을 만들었습니다.

커뮤니티의 다른 개발자들이 로보틱스 내비게이션, 제어 및 강화 학습 분야의 혁신을 위해 Isaac Sim과 Isaac Lab을 어떻게 사용하고 있는지 다음 라이브스트림 다시보기 영상을 통해 확인해 보세요: