지난 2024년 11월, 독일 뮌헨에서 열렸던 로봇 학습 컨퍼런스(CoRL)에서 Hugging Face와 NVIDIA는 오픈 소스 로봇 커뮤니티를 결합하여 로봇 연구 및 개발을 가속화하는 협업을 발표했었습니다.
Hugging Face의 LeRobot 오픈 AI 플랫폼이 NVIDIA의 AI, Omniverse, Isaac 로봇 기술과 결합되면 연구자와 개발자들은 제조, 헬스케어, 물류 등 다양한 산업 분야에서 혁신을 이끌 수 있습니다.
오픈 소스 로봇: 피지컬 AI 시대의 시작
‘피지컬 AI(Physical AI)’ – 바야흐로 로봇이 환경의 물리적 속성을 이해하는 시대가 도래하고 있으며, 이는 이미 전 세계 산업을 빠르게 변혁하고 있습니다.
이러한 혁신이 빠르게 지속되기 위해서는, 로봇 연구자와 개발자들이 로봇의 학습, 시뮬레이션, 추론 등 개발 전 과정을 포괄할 수 있는 오픈 소스의 확장 가능한 프레임워크에 접근해야 하는데요, 공유 프레임워크로 공개된 모델, 데이터셋, 워크플로우를 활용하면 코드를 다시 작성할 필요 없이 최신 성과를 바로 사용할 수 있습니다.
Hugging Face의 선도적인 오픈 AI 플랫폼은 전 세계 500만 명 이상의 머신러닝 연구자와 개발자를 지원하며, AI 개발을 효율적으로 촉진할 수 있는 도구와 자원을 제공합니다. Hugging Face 사용자는 최신 사전 학습 모델에 접근하고 원하는 방식으로 미세 조정할 수 있으며, 150만 개가 넘는 모델, 데이터셋, 애플리케이션을 자유롭게 활용할 수 있습니다.
Hugging Face가 개발한 LeRobot은 기존 Transformers와 Diffusers 라이브러리에서의 성공적인 패턴을 로봇 분야로 확장한 것으로, 데이터 수집, 모델 훈련, 시뮬레이션 환경 공유, 저비용 매니퓰레이터 키트 설계를 위한 종합 도구 세트를 제공합니다.
NVIDIA의 AI 기술과 시뮬레이션, 오픈 소스 로봇 학습 프레임워크(예: NVIDIA Isaac Lab)는 LeRobot의 데이터 수집, 학습, 검증 워크플로우를 가속화할 수 있습니다. 연구자와 개발자들은 LeRobot 및 Isaac Lab으로 구축한 모델과 데이터셋을 공유해, 로봇 커뮤니티를 위한 ‘데이터 플라이휠’을 만들 수 있습니다.
시뮬레이션을 통한 로봇 개발 확장성 확보
피지컬 AI(Physical AI)를 개발하는 것은 쉽지 않습니다. 언어 모델이 방대한 인터넷 텍스트 데이터를 활용하는 것과 달리, 물리 기반 로봇은 피지컬적인 상호작용 데이터와 비전 센서에 의존합니다. 이런 데이터는 대규모로 수집하기가 더 어렵습니다. 여러 임무와 환경에서 실세계 로봇의 정교한 조작 데이터를 모으는 데는 많은 시간과 노동이 필요하기 때문이죠.
이를 보완하기 위해 NVIDIA Isaac Sim을 기반으로 한 Isaac Lab은 고해상도 렌더링과 물리 시뮬레이션을 이용해 현실적인 합성 환경과 데이터를 만들고, 시뮬레이션에서 데모나 시행착오 방식으로 로봇 학습이 가능하도록 지원합니다. GPU 가속 물리 시뮬레이션과 병렬 환경 실행을 결합해, Isaac Lab은 단일 데모만으로도 수천 번의 실세계 경험에 해당하는 대량의 학습 데이터를 생성할 수 있습니다.
생성된 모션 데이터는 모방 학습(imitation learning)을 통해 정책(policy)으로 학습되는데요, 시뮬레이션에서 학습과 검증이 완료되면, 이 정책을 실제 로봇에 적용해 추가 확인과 최적화를 거칩니다.
이 반복적인 과정은 실세계 데이터의 정확성과 시뮬레이션 합성 데이터의 확장성을 모두 활용하여, 강력하고 신뢰도 높은 로봇 시스템을 만들게되죠.
이렇게 생성한 데이터셋, 정책, 모델을 Hugging Face에 공유함으로써, 로봇 데이터의 선순환(flywheel)이 만들어지며, 개발자와 연구자들이 서로의 연구 성과를 바탕으로 발전할 수 있어 분야의 발전이 더욱 가속화됩니다.
조지아공대(Georgia Tech)의 조교수인 Animesh Garg는 “로봇 커뮤니티는 우리가 함께 구축할 때 비로소 살아납니다”며, “Hugging Face의 LeRobot이나 NVIDIA Isaac Lab과 같은 오픈소스 프레임워크를 적극 수용함으로써, AI 기반 로봇 연구와 혁신의 속도를 높일 수 있습니다”고 밝혔습니다.
협업 및 커뮤니티 참여 활성화
이번 협업 워크플로우는 Isaac Lab에서의 텔레오퍼레이션(원격 조작) 및 시뮬레이션을 통해 데이터를 수집하고, 이를 표준 LeRobotDataset 형식으로 저장하는 과정을 포함하는데요, GR00T-Mimic을 사용해 생성된 데이터는 모방 학습(imitation learning)으로 로봇 정책(policy)을 훈련하는 데 활용되며, 이후 시뮬레이션에서 성능을 평가합니다. 마지막으로 검증된 정책은 NVIDIA Jetson 기반의 실제 로봇에 배포되어 실시간 추론에 사용됩니다.
이 협업의 첫 단계는 이미 진행 중이며, LeRobot 소프트웨어가 NVIDIA Jetson Orin Nano에서 실행되는 물리적 피킹(picking) 셋업을 실제로 시연했습니다. 이를 통해 강력하면서도 컴팩트한 배포용 컴퓨팅 플랫폼이 제공되고 있음을 확인했죠.
LeRobot의 수석 연구 과학자인 Remi Cadene은 “Hugging Face의 오픈소스 커뮤니티와 NVIDIA의 하드웨어, Isaac Lab 시뮬레이션을 결합하면 로봇 AI 혁신이 가속화될 수 있습니다”고 밝혔습니다.
이 연구는 NVIDIA가 에지(edge) 기반 생성 AI 커뮤니티에 기여한 사례를 바탕으로, Hugging Face Transformers와 같은 최신 오픈 모델 및 라이브러리 지원을 포함합니다. 대형 언어 모델(LLM), 소형 언어 모델(SLM), 멀티모달 비전-언어 모델(VLM), 그리고 VLM의 실행(action) 기반 변형인 비전-언어-행동 모델(VLA), 디퓨전 정책(diffusion policy), 음성 모델 등 다양한 분야의 커뮤니티 주도 엔드투엔드(e2e) 시각 AI를 위해 추론을 최적화합니다.
이렇듯 Hugging Face와 NVIDIA는 협력하여, 교통, 제조, 물류 등 전 산업을 변화시키려는 전 세계 로봇 연구자와 개발자들의 작업을 가속화하는 것을 목표로 하고 있습니다.
NVIDIA가 참여한 CoRL 논문에서는 환경 이해를 위한 VLM 통합, 시계열 내비게이션, 장기 계획 등 로봇 관련 연구를 확인할 수 있습니다. NVIDIA 연구자들이 참여하는 CoRL 워크숍도 함께 살펴볼 수 있습니다.