향후 20년 동안 휴머노이드 로봇 시장은 380억 달러 규모로 성장할 것으로 예상됩니다. 특히 산업과 제조 분야를 포함한 수요가 증가하는 상황인데요. 이를 충족하기 위해 NVIDIA는 차세대 휴머노이드 로봇 개발을 가속화할 수 있는 로봇 파운데이션 모델, 데이터 파이프라인, 시뮬레이션 프레임워크 모음을 발표했습니다.
CES에서 NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)이 발표한 합성 모션 생성용 NVIDIA Isaac GR00T Blueprint는 개발자들이 기하급수적으로 방대한 합성 모션 데이터를 생성해, 모방 학습을 통해 휴머노이드 로봇을 훈련할 수 있도록 지원합니다.
모방 학습은 로봇 학습의 한 분야로, 휴머노이드 로봇이 인간 전문가의 시연을 관찰하고 모방해 새로운 기술을 습득하도록 하죠. 하지만 현실 세계에서 이러한 방대한 고품질 데이터셋을 수집하는 것은 매우 번거롭고, 시간과 비용이 많이 소요됩니다. 합성 모션 생성용 Isaac GR00T Blueprint를 활용하면, 소수의 인간 시연만으로도 기하급수적으로 방대한 합성 데이터셋을 쉽게 생성할 수 있습니다.
GR00T-Teleop 워크플로우로 시작하여, 사용자는 애플 비전 프로(Apple Vision Pro)를 활용해 인간의 동작을 디지털 트윈에 캡처할 수 있습니다. 이렇게 캡처된 인간의 동작은 로봇 시뮬레이션에서 모방되며, 실측 데이터(ground truth)로 사용하기 위해 기록됩니다.
그리고 GR00T-Mimic 워크플로우에서는 캡처된 인간 시연 데이터를 대규모 합성 동작 데이터셋으로 확장합니다. 마지막으로, GR00T-Gen 워크플로우는 NVIDIA Omniverse와 NVIDIA Cosmos플랫폼을 기반으로 도메인 랜덤화와 3D 업스케일링을 통해 이 데이터셋을 기하급수적으로 확장합니다.
이 데이터셋은 NVIDIA Isaac Lab에서 로봇 학습 정책의 입력값으로 사용되며, 로봇이 효과적이고 안전하게 환경과 상호작용하도록 가르치는 데 활용됩니다. Isaac Lab은 로봇 학습을 위한 오픈소스 기반의 모듈형 프레임워크입니다.
WFM로 시뮬레이션과 현실 간 격차 줄여
NVIDIA는 CES에서 물리 AI 개발을 위해 설계된 물리 인지 비디오와 월드 상태를 생성할 수 있는 오픈 사전 학습 WFM(world foundation model)군을 갖춘 Cosmos 플랫폼도 발표했습니다. 이 플랫폼은 다양한 크기와 입력 데이터 형식을 지원하는 오토리그레시브 모델과 디퓨전 모델을 포함하는데요. 이 모델들은 자율주행, 로보틱스, 드론 영상과 합성 데이터를 포함한 2백만 시간 분량의 데이터와 18경 개의 토큰으로 학습됐습니다.
Cosmos는 대규모 데이터셋 생성을 지원할 뿐만 아니라, 3D 이미지를 실제와 가까운 수준으로 업스케일링하여 시뮬레이션과 현실 간의 격차를 줄일 수 있습니다. Omniverse는 3D 애플리케이션과 서비스를 구축하기 위한 애플리케이션 프로그래밍 인터페이스(API)와 마이크로서비스로 구성된 개발자 플랫폼입니다. 이는 Cosmos와 결합하는 것이 매우 중요합니다. 높은 제어 가능성과 물리적으로 정확한 시뮬레이션을 통해 월드 모델에서 흔히 발생하는 ‘환각’ 가능성을 최소화할 수 있는 중요한 안전장치를 제공하기 때문입니다.
확장되는 생태계
NVIDIA Isaac GR00T, Omniverse, Cosmos는 물리 AI와 휴머노이드 로봇 혁신을 비약적으로 앞당기고 있습니다. 보스턴 다이내믹스(Boston Dynamics)와 피규어(Figure)를 포함한 주요 로봇 기업들이 Isaac GR00T를 도입하여 성공 사례를 발표했습니다.
휴머노이드 소프트웨어, 하드웨어, 로봇 제조업체는 NVIDIA의 휴머노이드 로봇 개발자 프로그램 얼리 액세스를 신청할 수 있습니다.
NVIDIA 창립자 겸 CEO 젠슨 황의 CES 키노트에서 더 자세한 내용을 확인할 수 있습니다. 뉴스레터를 구독하거나 NVIDIA Robotics의 링크드인, 인스타그램, X, 페이스북 채널을 팔로우하여 최신 소식을 받아보세요.
소프트웨어 제품 정보에 대한 공지를 참조하세요.