전 세계 휴머노이드 로보틱스 개발 이끄는 NVIDIA

전 세계 휴머노이드 개발 가속화를 위해, NVIDIA는 세계 유수의 로봇 제조업체, AI 모델 개발자, 소프트웨어 제조업체에 차세대 휴머노이드 로봇의 개발, 훈련, 구축을 위한 서비스, 모델, 컴퓨팅 플랫폼 제품군을 제공합니다.

여기에는 로봇 시뮬레이션과 학습을 위한 새로운 NVIDIA NIM™ 마이크로서비스와 프레임워크가 포함됩니다. 또한 다단계 로봇 작업을 실행하기 위한 NVIDIA OSMO 오케스트레이션 서비스와 개발자가 적은 양의 인간 데모 데이터를 사용해 로봇을 훈련할 수 있도록 하는 AI와 시뮬레이션 지원 원격 운영 워크플로우도 포함되죠.

NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “AI의 차세대 물결은 로보틱스이며, 가장 흥미로운 개발 중 하나는 휴머노이드 로봇입니다. 우리는 전 세계 휴머노이드 개발자와 기업이 각자의 필요에 가장 적합한 플랫폼, 가속 라이브러리, AI 모델을 사용할 수 있도록 전체 NVIDIA 로봇 스택을 발전시키고 있습니다”고 말했습니다.

NVIDIA NIM과 OSMO 통해 개발 가속화

NIM 마이크로서비스는 NVIDIA 추론 소프트웨어로 구동되는 사전 구축된 컨테이너를 제공해, 개발자가 배포 시간을 몇 주에서 단 몇 분으로 단축할 수 있도록 합니다. NVIDIA Isaac Sim은 NVIDIA Omniverse 플랫폼에 설계된 로봇 시뮬레이션용 레퍼런스 애플리케이션인데요. 로봇 공학자들은 Isaac Sim에서 두 가지 새로운 AI 마이크로서비스를 통해 물리 생성형 AI를 위한 시뮬레이션 워크플로우를 개선할 수 있습니다.

MimicGen NIM은 애플 비전 프로(Apple Vision Pro)와 같은 공간 컴퓨팅 장치에서 원격으로 조작한 데이터를 기반으로 합성 모션 데이터를 생성합니다. Robocasa NIM은 3D 월드 내의 개발과 협업을 위한 범용 프레임워크인 오픈USD(OpenUSD)에서 로봇 작업과 시뮬레이션 지원 환경을 생성하죠.

현재 사용 가능한 NVIDIA OSMO는 클라우드 네이티브 관리형 서비스입니다. 이는 사용자가 온프레미스나 클라우드로 분산된 컴퓨팅 리소스 전반에서 복잡한 로봇 개발 워크플로우를 조율하고 확장할 수 있도록 지원하죠.

OSMO는 로봇 훈련과 시뮬레이션 워크플로우를 대폭 간소화해 배포와 개발 주기를 수개월에서 1주일 이내로 단축합니다. 사용자는 합성 데이터 생성, 모델 훈련, 강화 학습 수행뿐만 아니라 휴머노이드, 자율 모바일 로봇, 산업용 조작기를 위한 대규모 SIL(Software-in-the-Loop) 수행 등 다양한 작업을 시각화하고 관리할 수 있습니다.

휴머노이드 로봇 개발자를 위한 데이터 캡처 워크플로우의 발전

휴머노이드 로봇의 파운데이션 모델을 훈련하려면 엄청난 양의 데이터가 필요합니다. 인간의 데모 데이터를 캡처하는 방법 중 하나는 원격 조작을 사용하는 것이지만, 점점 더 많은 비용과 시간이 소요되고 있는데요.

연구자와 AI 개발자는 NVIDIA AI와 Omniverse 지원 원격 작업 레퍼런스 워크플로우를 통해 원격으로 수집한 최소한의 인간 데모 데이터로 방대한 양의 합성 모션과 인식 데이터를 생성할 수 있습니다. 이는 이번 시그라프(SIGGRAPH) 컴퓨터 그래픽 콘퍼런스에서 시연됐습니다.

먼저, 개발자가 애플 비전 프로를 사용해 소수의 원격 조작 데모를 캡처합니다. 그런 다음 NVIDIA Isaac Sim에서 녹화본을 시뮬레이션하고 MimicGen NIM을 사용해 녹화본에서 합성 데이터 세트를 생성합니다.

개발자는 실제 데이터와 합성 데이터로 Project GR00T 휴머노이드 파운데이션 모델을 훈련해 시간을 절약하고 비용을 절감할 수 있는데요. 그런 다음 로봇 학습을 위한 프레임워크인 Isaac Lab의 Robocasa NIM을 사용해 로봇 모델을 재훈련하기 위한 경험을 생성합니다. 워크플로우 전반에 걸쳐 NVIDIA OSMO는 컴퓨팅 작업을 다양한 리소스에 원활하게 할당해 개발자는 몇 주 동안 관리 작업을 하지 않아도 됩니다.

범용 로봇 플랫폼 회사인 푸리에(Fourier)는 시뮬레이션 기술을 사용해 훈련 데이터를 합성 생성하는 것의 유용성을 잘 파악하고 있죠.

푸리에 CEO인 알렉스 구(Alex Gu)는 “휴머노이드 로봇을 개발하는 것은 매우 복잡하며, 실제 세계에서 지루할 정도로 많은 양의 실제 데이터를 수집해야 합니다. NVIDIA의 새로운 시뮬레이션과 생성형 AI 개발자 도구는 우리의 모델 개발 워크플로우를 획기적으로 가속화할 것”이라고 말했습니다.

NVIDIA 휴머노이드 개발자 기술에 대한 접근성 확대

NVIDIA는 휴머노이드 로봇 개발을 용이하게 하는 세 가지 컴퓨팅 플랫폼을 제공합니다. 바로 모델 훈련을 위한 NVIDIA AI 슈퍼컴퓨터, 로봇이 시뮬레이션 세계에서 학습하고 기술을 개선할 수 있는 Omniverse 기반의 NVIDIA Isaac Sim, 모델 실행을 위한 NVIDIA Jetson Thor 휴머노이드 로봇 컴퓨터입니다. 개발자는 특정 요구 사항에 따라 플랫폼 전체나 일부에 액세스해 사용할 수 있습니다.

새로운 NVIDIA Humanoid Robot Developer Program을 통해 개발자는 새로운 제품과 NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor, Project GR00T 범용 휴머노이드 파운데이션 모델의 최신 릴리스에 대한 얼리 액세스 권한을 얻을 수 있습니다.

얼리 액세스 프로그램에 처음으로 참여하게 된 회사에는 1X 테크놀로지스(1X Technologies), 보스턴 다이내믹스(Boston Dynamics), 필드 AI(Field AI), 피규어 AI(Figure AI), 푸리에, 갈봇(Galbot), 림스 다이나믹스(LimX Dynamics), 멘티 로보틱스(Mentee Robotics), 뉴라 로보틱스(Neura Robotics), 로보테라(RobotEra), 스킬드 AI(Skild AI)가 있습니다.

보스턴 다이내믹스 최고 기술 책임자인 아론 손더스(Aaron Saunders)는 “NVIDIA와 보스턴 다이내믹스는 로보틱스에서 가능성의 한계를 넓히기 위해 오랜 기간 긴밀하게 협력해 왔습니다. 이 작업의 결실이 업계 전반을 가속화하는 것을 보게 돼 매우 기쁘게 생각합니다. 얼리 액세스 프로그램은 업계 최고의 기술을 이용할 수 있는 환상적인 방법입니다”고 말했습니다.