이제 오픈소스 Newton 물리 엔진을 NVIDIA Isaac™ Lab에서 이용할 수 있습니다! 그리고 로봇 기술을 위한 NVIDIA Isaac GR00T N1.6 추론 비전 언어 행동(vision language action, VLA) 모델과 새로운 AI 인프라도 함께 제공됩니다. 이 기술들은 개발자와 연구자들에게 개방형 가속 로보틱스 플랫폼을 제공해 반복 작업을 가속화하고, 테스트를 표준화하며, 로봇의 추론과 훈련 통합을 지원하는데요. 더불어 로봇이 시뮬레이션에서 실제 환경으로 안전하고 안정적으로 기술을 이전할 수 있도록 돕습니다.
NVIDIA Omniverse 및 시뮬레이션 기술 부문 부사장인 레브 레바레디언(Rev Lebaredian)은 “휴머노이드는 피지컬 AI의 차세대 영역입니다. 예측 불가능한 세상에서 추론하고, 적응하며, 안전하게 행동하는 능력이 필요하죠. 이번 업데이트로 개발자들은 로봇을 연구 단계에서 일상 생활로 가져오기 위한 세 가지 컴퓨터를 갖게 됐습니다. Isaac GR00T가 로봇의 두뇌 역할을 하고, Newton이 신체를 시뮬레이션하며, NVIDIA Omniverse가 훈련장이 됩니다”고 말했습니다.
Newton, 로보틱스 물리 시뮬레이션의 새로운 표준 제시
로봇은 시뮬레이션 환경에서 더욱 빠르고 안전하게 학습할 수 있지만, 복잡한 관절, 균형, 움직임을 가진 휴머노이드 로봇은 오늘날 기존 물리 엔진의 한계를 시험하고 있죠. 전 세계 25만 명 이상의 로보틱스 개발자들은 정확한 물리 엔진을 필요로 하는데요. 로봇이 시뮬레이션에서 학습한 기술을 현실 세계에서 안전하고 안정적으로 수행하기 위해서는 이러한 물리 엔진이 필수입니다.
NVIDIA는 리눅스 재단(Linux Foundation)이 관리하는 GPU 가속 오픈소스 물리 엔진 Newton의 베타 버전을 공개했습니다. 이는 NVIDIA Warp와 OpenUSD 프레임워크를 기반으로, NVIDIA와 구글 딥마인드(Google DeepMind), 디즈니 리서치(Disney Research)가 공동 개발했죠. 지금 바로 사용할 수 있습니다.
Newton은 유연한 설계와 다양한 물리 솔버와의 호환성을 갖췄습니다. 이를 통해 개발자들이 눈이나 자갈 위를 걷거나, 컵과 과일을 다루는 등 매우 복잡한 로봇 동작을 시뮬레이션하고, 이를 현실 세계에 성공적으로 적용할 수 있도록 지원합니다.
Newton을 도입한 연구실과 기관으로는 명문 대학교인 취리히 연방공과대학교 로보틱스 시스템스 랩(ETH Zurich Robotics Systems Lab), 뮌헨 공과대학교(Technical University of Munich), 베이징대학교(Peking University), 로봇 기업인 라이트휠(Lightwheel), 시뮬레이션 엔진 기업인 스타일3D(Style3D)가 있습니다.
Cosmos Reason, 새로운 오픈 Isaac GR00T N1.6 모델에서 로봇 추론 능력 향상
휴머노이드가 물리적 환경에서 인간과 유사한 작업을 수행하기 위해서는 모호한 지시를 이해하고 이전에 경험하지 못한 상황에 대처할 수 있어야 하는데요.
곧 허깅 페이스(Hugging Face)에서 공개될 오픈소스 Isaac GR00T N1.6 로봇 파운데이션 모델의 최신 버전에는 피지컬 AI를 위해 개발된 오픈 맞춤형 추론 비전 언어 모델(vision language model, VLM)인 NVIDIA Cosmos Reason이 통합될 예정입니다. Cosmos Reason은 로봇이 심층 사고를 하는 두뇌 역할을 담당합니다. 기존의 지식, 상식, 물리학을 활용해 모호한 지시를 단계별 계획으로 전환하고, 새로운 상황을 처리하며, 다양한 작업에 걸쳐 일반화할 수 있도록 하죠.
Cosmos Reason은 현재 피지컬 리즈닝 리더보드(Physical Reasoning Leaderboard) 1위를 차지하고 있으며, 100만 회 이상 다운로드를 기록했습니다. 또한, 모델 훈련을 위한 대규모 실제 데이터, 합성 데이터를 선별하고 주석을 달 수 있죠. Cosmos Reason 1은 이제 NIM에서 제공되며, 사용하기 쉬운 마이크로서비스 형태로 AI 모델 배포를 지원합니다.
Isaac GR00T N1.6은 휴머노이드가 물체를 동시에 이동하고 조작할 수 있도록 해 상체와 팔의 자유도를 넓히고, 무거운 문을 여는 것과 같은 까다로운 작업을 수행할 수 있도록 하는데요.
개발자는 허깅 페이스의 오픈소스 NVIDIA Physical AI 데이터세트를 사용해 Isaac GR00T N 모델을 사후 훈련할 수 있습니다. 해당 데이터세트는 480만 회 이상 다운로드됐으며, 현재 수천 개의 합성 궤적과 실제 궤적 데이터를 포함합니다.
에이로봇(AeiROBOT), 프랑카 로보틱스(Franka Robotics), LG전자(LG Electronics), 라이트휠, 멘티 로보틱스(Mentee Robotics), 뉴라 로보틱스(Neura Robotics), 솔로몬(Solomon), 테크맨 로봇(Techman Robot), UCR 등 주요 로봇 제조사들이 범용 로봇 구축을 위해 Isaac GR00T N 모델을 평가하고 있습니다.
피지컬 AI 개발을 위한 새로운 Cosmos 월드 파운데이션 모델
NVIDIA는 오픈소스 Cosmos 월드 파운데이션 모델(WFM)의 신규 업데이트를 발표했습니다. 300만 회 이상 다운로드된 이 모델은 개발자가 텍스트, 이미지, 영상 프롬프트를 활용해 대규모로 피지컬 AI 모델 훈련을 가속화할 수 있는 다양한 데이터 생성을 지원하죠.
- Cosmos Predict 2.5는 곧 출시될 예정이며, 세 가지 Cosmos WFM의 성능을 하나의 강력한 모델로 통합해 복잡성을 줄이고, 시간을 절약하며, 효율성을 높이죠. 또한, 최대 30초의 긴 동영상 생성, 다중 뷰 카메라 출력을 지원해 더욱 풍부한 세계 시뮬레이션을 구현합니다.
- Cosmos Transfer 2.5는 곧 출시될 예정이며, 기존 모델 대비5배 작으면서도 더 빠르고 높은 품질의 결과를 제공합니다. 이제 사실적인 합성 데이터를 생성할 수 있으며, 그라운드 트루스(ground-truth) 3D 시뮬레이션 장면, 깊이, 세분화, 엣지, 고해상도 지도와 같은 공간 제어 입력값을 활용할 수 있습니다.
로봇 파지 훈련을 위한 새로운 워크플로우
로봇에게 물체를 잡는 법을 학습시키는 것은 로보틱스에서 가장 어려운 과제 중 하나인데요. 파지는 단순히 팔을 움직이는 것이 아니라 생각을 정밀한 동작으로 전환하는 것으로, 로봇이 시행착오를 통해 학습해야 하는 기술입니다.
NVIDIA Omniverse™ 플랫폼 기반의 Isaac Lab 2.3 개발자 프리뷰의 새로운 정밀 파지(dexterous grasping) 워크플로우는 다관절 손과 팔을 가진 로봇을 가상 환경에서 자동화된 커리큘럼으로 훈련시킵니다. 이 과정은 간단한 작업부터 시작해 점차 복잡성을 높여가죠. 해당 워크플로우는 중력, 마찰, 물체의 무게 등 요소를 변경해 로봇이 예측 불가능한 환경에서도 기술을 습득하도록 훈련시킵니다.
보스턴 다이내믹스(Boston Dynamics)의 아틀라스(Atlas) 로봇은 이 워크플로우를 통해 파지 기술을 학습해 조작 능력을 크게 향상시켰습니다.
어질리티 로보틱스(Agility Robotics), 보스턴 다이내믹스, 피규어 AI(Figure AI), 스킬드 AI(Skild AI), 솔로몬, 테크맨 로봇 등 선도적인 로봇 개발사들도 NVIDIA Isaac과 Omniverse 기술을 도입하고 있습니다.
시뮬레이션으로 학습된 로봇 기술 평가하기
컵을 집거나 방을 가로질러 걷는 것과 같이 새로운 기술을 로봇에게 숙달시키는 것은 매우 어렵습니다. 또한, 이러한 기술을 실제 로봇에서 테스트하는 과정은 시간과 비용이 많이 필요하죠.
이러한 어려움을 해결할 수 있는 방법이 바로 시뮬레이션입니다. 시뮬레이션은 로봇이 학습한 기술을 무수한 시나리오, 작업, 환경에서 테스트할 수 있는 방법을 제공합니다. 그러나 개발자들은 시뮬레이션 환경에서도 현실 세계를 반영하지 못하고 단편적이고 단순화된 테스트를 구축하는 경우가 많은데요. 완벽하고 단순한 시뮬레이션 환경에서 학습한 로봇은 현실 세계의 복잡성에 직면하는 순간 실패할 가능성이 큽니다.
NVIDIA와 라이트휠은 개발자가 시스템을 처음부터 구축하지 않고도 시뮬레이션 환경에서 복잡한 대규모 평가를 실행할 수 있는 오픈소스 정책 평가 프레임워크인 Isaac Lab-Arena를 공동 개발하고 있습니다. 이 프레임워크는 확장 가능한 실험과 표준화된 테스트를 지원하며 곧 공개될 예정입니다.
새로운 NVIDIA AI 인프라로 어디서나 로보틱스 워크로드 지원
NVIDIA는 개발자들이 이러한 첨단 기술과 소프트웨어 라이브러리를 최대한 활용할 수 있도록, 가장 까다로운 워크로드를 위해 설계된 AI 인프라를 발표했습니다.
- NVIDIA GB200 NVL72: NVIDIA Grace™ CPU 36개와 NVIDIA Blackwell GPU 72개를 통합한 랙 규모 시스템으로, 주요 클라우드 공급업체들이 채택해 복잡한 추론과 피지컬 AI 작업을 포함한 AI 훈련과 추론을 가속화하고 있습니다.
- NVIDIA RTX PRO™ Servers: 훈련, 합성 데이터 생성, 로봇 학습, 시뮬레이션 전반의 모든 로봇 개발 워크로드를 위한 단일 아키텍처를 제공하며, RAI 연구소(RAI Institute)에서 도입 중입니다.
- NVIDIA Jetson Thor™: Blackwell GPU로 구동되며, 로봇이 실시간 지능형 상호작용을 위한 다중 AI 워크플로우 실행을 지원합니다. 또한, 실시간 로봇 추론으로 휴머노이드 로보틱스 전반에서 고성능 피지컬 AI 워크로드와 애플리케이션의 돌파구를 마련하죠. Jetson Thor는 피규어 AI, 갤봇(Galbot), 구글 딥마인드, 멘티 로보틱스, 메타(Meta), 스킬드 AI, 유니트리(Unitree) 등 파트너사에 도입되고 있습니다.
로보틱스 연구 가속화하는 NVIDIA
GPU, 시뮬레이션 프레임워크, CUDA 가속 라이브러리 등을 포함한 NVIDIA 기술은 CoRL(Conference on Robot Learning)에서 채택된 논문에 절반 가까이 인용됐습니다. 또한, 카네기멜론대학교(Carnegie Mellon), 워싱턴대학교(University of Washington), 취리히 연방공과대학교, 국립싱가포르대학교(National University of Singapore) 등 주요 연구실과 기관에서 활용되고 있죠.
이번 CoRL에서는 스탠퍼드 비전 앤 러닝 랩(Stanford Vision and Learning Lab)이 진행하는 로봇 학습 벤치마크 프로젝트 BEHAVIOR와 베이징대학교가 개발한 비전 기반 촉각 로보틱스 발전을 위한 고성능 시뮬레이션 플랫폼 태셀(Taccel)이 주목받았죠.
올해 CoRL은 9월 27일부터 10월 2일까지 서울에서 진행되며, 로보틱스 연구 성과에 대한 자세한 내용을 확인할 수 있습니다.