기계가 실제 환경에서 더 높은 자율성과 지능으로 인식, 계획 및 행동할 수 있도록 지원하는 물리 AI에 대한 최신 소식을 확인해 보세요.
4월 12일까지 진행되는 이번 로보틱스 위크에서 NVIDIA는 지능형 머신의 미래를 형성하고 제조, 의료, 물류 등의 분야에서 발전을 주도하는 선구적인 기술을 집중 조명합니다.
로봇 시뮬레이션 및 로봇 학습의 발전은 업계의 근본적인 변화를 주도하고 있습니다. 또한 월드 파운데이션 모델의 등장으로 역동적이고 복잡한 시나리오에 적응할 수 있는 AI 지원 로봇의 진화가 가속화되고 있습니다.
예를 들어, NVIDIA GR00T N1과 같은 로봇 파운데이션 모델, 로봇 시뮬레이션 및 트레이닝을 위한 NVIDIA Isaac Sim 및 Isaac Lab과 같은 프레임워크, 다양한 작업을 위한 로봇 트레이닝을 돕는 합성 데이터 생성 파이프라인을 제공함으로써 NVIDIA Isaac 및 GR00T 플랫폼은 연구자와 개발자가 로봇의 경계를 확장할 수 있도록 지원하고 있습니다.
무료 강좌와 오픈 소스 데이터로 로봇 공학 시작하기
로보틱스 개발에 뛰어들고자 하는 분들은 NVIDIA의 무료 로보틱스 기초 학습 과정을 통해 시작할 수 있습니다. 이 자기 주도형 NVIDIA DLI(딥 러닝 인스티튜트) 과정 시리즈는 시뮬레이션 및 로봇 학습의 기초적인 로봇 공학 개념과 필수 워크플로우를 다룹니다. 각 과정은 Isaac ROS, Isaac Sim 및 Isaac Lab을 포함한 NVIDIA Isaac 플랫폼 전반에 걸친 실습 교육을 제공합니다.
올해 GTC에서 NVIDIA는 로봇 개발자를 위한 오프라인 교육 랩을 주최했으며, 이제 온라인으로도 이용할 수 있습니다. 여기에는 다음이 포함됩니다:
- Develop, Simulate and Deploy Robot Intelligence With Scaled Foundations
- Generating High-Quality Motion Data for Robotics With MobilityGen
- Software-in-the-Loop Testing for Robots With OpenUSD, Isaac Sim and ROS
이 과정은 곧 제공될 예정입니다:
- An Introduction to NVIDIA Cosmos for Physical AI
- Imitation Learning Techniques Using NVIDIA Isaac Lab and Apple Vision Pro
- Accelerating ROS 2 With NVIDIA GPU-Powered Libraries and AI Models
NVIDIA는 또한 연구자와 개발자가 프로젝트를 시작할 수 있도록 상용 등급의 사전 검증된 데이터로 구성된 무료 오픈 소스 물리 AI 데이터세트를 공개했습니다. 초기 데이터 세트는 로봇 트레이닝을 위한 32만 개 이상의 궤적을 나타내는 15테라바이트의 데이터와 SimReady를 포함한 1,000개의 유니버설 씬 디스크립션(OpenUSD) 에셋을 제공합니다.
Hugging Face에서 NVIDIA 물리 AI 데이터세트에 액세스하세요.
시뮬레이션에서 실제 애플리케이션으로의 전환을 간소화하는 Scaled Foundations
로봇은 어렵고 반복적인 작업을 자동화하고 확장할 수 있는 잠재력을 가지고 있습니다. 그러나 이러한 작업을 안전하게 수행하도록 로봇을 프로그래밍하는 것은 전통적으로 어렵고 비용이 많이 들며 전문성이 요구되는 작업이었습니다. 첨단 스타트업을 위한 NVIDIA Inception 프로그램의 멤버인 Scaled Foundations은 GRID 플랫폼으로 진입 장벽을 낮추고 있습니다.
Scaled Foundations은 NVIDIA Isaac Sim을 GRID에 통합함으로써 사용자에게 새로운 로봇 유형에 걸쳐 고급 로봇 AI 솔루션의 개발 및 배포를 빠르게 진행할 수 있는 기회를 제공합니다. 개발자와 학생은 브라우저 내에서 로봇 AI 시스템을 개발, 시뮬레이션 및 배포할 수 있는 최첨단 툴에 액세스할 수 있습니다.
브라우저에서 바로 로봇 인텔리전스에 액세스하여 원활하게 구축 및 관리할 수 있습니다.
Scaled Foundations의 GRID 플랫폼을 사용하여 솔루션을 배포하는 방법에 대해 자세히 알아보려면 NVIDIA GTC 세션인 “Introduction to Robot Simulation: Learn How to Develop, Simulate and Deploy Scalable Robot Intelligence.”를 시청하세요
Wheeled Lab: NVIDIA Isaac Lab을 통한 시뮬레이션 투 리얼리티 로보틱스 발전
워싱턴 대학의 연구 프로젝트인 Wheeled Lab은 저비용 오픈 소스 플랫폼에 시뮬레이션-투-리얼리티 로봇 공학을 도입하고 있습니다.
Wheeled Lab은 로봇 학습을 위한 통합 프레임워크인 NVIDIA Isaac Lab과 통합되어 강화 학습 모델을 통해 제어 드리프트, 장애물 회피, 고도 통과, 시각적 탐색과 같은 복잡한 작업을 위해 바퀴 달린 로봇을 훈련할 수 있습니다. 이 파이프라인은 도메인 무작위화, 센서 시뮬레이션 및 엔드투엔드 학습을 사용하여 시뮬레이션 훈련과 실제 배포 간의 격차를 해소하는 동시에 시뮬레이션에서 현실로의 제로 샷 전환을 보장합니다.
왼쪽: 드리프트 정책. 오른쪽: Isaac Lab 시뮬레이션 교육.
시뮬레이션, 훈련, 배포를 아우르는 전체 스택은 완전한 오픈 소스이므로 개발자는 재현 가능한 환경에서 자유롭게 정책을 반복하고 수정하며 강화 학습 기법을 실험할 수 있습니다.
왼쪽: 드리프트 정책. 오른쪽: Isaac Lab 시뮬레이션 교육.
GitHub에서 시작하세요.
로봇에게 사고력 가르치기: Nicklas Hansen의 AI 혁신
실제 세계에서 로봇에게 복잡한 의사 결정을 가르치려면 무엇이 필요할까요? UC 샌디에이고에서 박사 과정을 밟고 있는 NVIDIA 대학원 연구원인 Nicklas Hansen은 확장 가능하고 강력한 머신 러닝 알고리즘에 해답이 있다고 말합니다.
캘리포니아 버클리 대학교, Meta AI(FAIR), 덴마크 공과대학교에서 쌓은 경험을 바탕으로 한센은 로봇이 동적인 환경에서 인지, 계획 및 행동하는 방식의 한계를 넓히고 있습니다. 이들의 연구는 로봇 공학, 강화 학습, 컴퓨터 비전의 교차점에 위치하여 시뮬레이션과 실제 배포 사이의 간극을 메우고 있습니다.
Hansen의 최근 연구는 로봇 공학에서 가장 어려운 과제 중 하나인 장거리 지평선 조작을 다루고 있습니다. 논문 ‘Multi-Stage Manipulation With Demonstration-Augmented Reward, Policy and World Model Learning‘에서는 다단계 작업 구조를 사용하여 희소 보상 환경에서 데이터 효율성을 향상시키는 프레임워크를 소개합니다.
Hansen의 또 다른 핵심 프로젝트인 시각적 전신 휴머노이드 컨트롤러로서의 계층적 세계 모델은 휴머노이드 로봇의 제어 전략을 발전시켜 보다 적응적이고 인간과 유사한 움직임을 가능하게 합니다.
한센은 자신의 연구 외에도 AI 기반 로봇공학의 접근성을 높이는 데 앞장서고 있습니다.
“로봇 공학용 AI를 시작하려는 모든 분께 드리고 싶은 조언은 사용 가능한 많은 오픈 소스 도구를 사용해보고 자신의 목표와 관심사에 맞는 프로젝트에 점차적으로 기여하기 시작하라는 것입니다.”라고 말합니다. “MuJoCo, NVIDIA Isaac Lab, ManiSkill과 같은 무료 시뮬레이션 툴을 이용하면 실제 로봇을 소유하지 않고도 이 분야에 큰 영향을 미칠 수 있습니다.”
Hansen은 도메인 지식 없이도 다양한 제어 작업을 학습할 수 있는 모델 기반 강화 학습 알고리즘인 TD-MPC2의 수석 저자입니다. 이 알고리즘은 오픈 소스이며 단일 소비자용 GPU에서 실행할 수 있습니다.
Hansen을 비롯한 AI 및 로보틱스 분야의 혁신을 주도하는 다른 NVIDIA 대학원 펠로우십 수상자들에 대해 자세히 알아보세요. NVIDIA 대학원 펠로우십의 박사과정 학생들이 획기적인 연구를 선보였던 NVIDIA GTC AI 컨퍼런스의 “Graduate Program Fast Forward” 세션 다시 보기를 시청하세요.
해커톤에 NVIDIA Isaac GR00T N1 기반 로봇 등장
지난 달에 개최된 Seeed Studio Embodied AI 해커톤에서는 로봇 커뮤니티가 모여 LeRobot SO-100ARM 모터 키트를 사용한 혁신적인 프로젝트를 선보였습니다.
이 행사에서는 로봇 학습이 AI 기반 로봇 공학을 어떻게 발전시키고 있는지를 강조했으며, 각 팀은 NVIDIA Isaac GR00T N1 모델을 성공적으로 통합하여 휴머노이드 로봇 개발 속도를 높였습니다. 주목할 만한 프로젝트는 실제 데모 데이터에 대한 로봇 파운데이션 모델을 사후 학습하여 픽 앤 플레이스 작업을 학습할 수 있는 리더-팔로워 로봇 쌍을 개발하는 것이었습니다.
프로젝트 진행 방식
- 실제 모방 학습: 로봇은 Arducam 비전 시스템과 외부 카메라를 통해 녹화된 사람이 주도하는 데모를 관찰하고 모방합니다.
- 포스트 트레이닝 파이프라인: 캡처된 데이터는 GR00T N1을 사용한 효율적인 GPU 기반 훈련을 위해 modality.json 데이터 세트로 구조화됩니다.
- 바이매뉴얼 조작: 이 모델은 두 개의 로봇 팔을 동시에 제어하는 데 최적화되어 협동 기술을 향상시킵니다.
이 데이터 세트는 현재 Hugging Face에 공개되어 있으며, 구현에 대한 자세한 내용은 GitHub에서 확인할 수 있습니다.
프로젝트에 대해 자세히 알아보세요.
로보틱스 발전: IEEE 로봇 공학 및 자동화 학회, 떠오르는 혁신가를 기리다
IEEE 로봇 공학 및 자동화 학회는 3월에 로봇 공학 및 자동화 분야의 뛰어난 공헌을 인정하는 2025 조기 학술 경력상 수상자를 발표했습니다.
올해의 수상자로 선정된 NVIDIA의 Shuran Song, Abhishek Gupta, Yuke Zhu는 확장 가능한 로봇 학습, 실제 강화 학습, 구현형 AI 분야의 선구적인 발전을 이끌고 있습니다. 이들의 연구는 차세대 지능형 시스템을 형성하여 연구와 실제 애플리케이션 모두에 영향을 미치는 혁신을 주도하고 있습니다.
수상자들에 대해 자세히 알아보세요:
- NVIDIA의 수석 연구 과학자인 Shuran Song은 확장 가능한 로봇 학습에 기여한 공로를 인정받았습니다. 주목할 만한 최근 논문은 다음과 같습니다:
- NVIDIA의 방문 교수인 Abhishek Gupta는 실제 로봇 강화 학습 분야의 선구적인 업적을 인정받아 수상자로 선정되었습니다. 주목할 만한 최근 논문은 다음과 같습니다:
- NVIDIA의 수석 연구 과학자인 Yuke Zhu는 AI와 널리 사용되는 오픈 소스 소프트웨어 플랫폼을 구현하는 데 기여한 공로를 인정받아 수상자로 선정되었습니다. 주목할 만한 최근 논문은 다음과 같습니다:
이 연구자들은 5월에 열리는 국제 로봇 공학 및 자동화 컨퍼런스에서 수상할 예정입니다.
로봇 연구 및 개발 다이제스트(R2D2) 기술 블로그 시리즈, 뉴스레터 구독, YouTube, Discord 및 개발자 포럼에서 NVIDIA Robotics 팔로우를 통해 NVIDIA의 선도적인 로봇 연구에 대한 최신 소식을 받아보세요.