NVIDIA Isaac 로보틱스 플랫폼은 최신 생성형 AI와 고급 시뮬레이션 기술을 활용해 AI 기반 로보틱스를 가속화하고 있습니다.
NVIDIA는 GTC에서 파운데이션 모델, 로보틱스 툴, GPU 가속 라이브러리 컬렉션인 NVIDIA Isaac Manipulator와 Isaac Perceptor를 발표했습니다.
NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 10,000명 이상의 청중이 모인 GTC 키노트 현장에서 휴머노이드 로봇 학습을 위한 범용 파운데이션 모델인 Project GR00T를 시연했는데요. GR00T는 ‘Generalist Robot 00 Technology’의 약자로, NVIDIA Isaac 로보틱스 플랫폼의 다양한 툴을 활용해 휴머노이드 로봇용 AI를 개발합니다.
젠슨 황은 “일반 휴머노이드 로봇을 위한 파운데이션 모델 구축은 오늘날 AI 분야에서 해결해야 할 가장 흥미로운 문제 중 하나”라며, “여러 기술이 하나로 모여 전세계 뛰어난 로봇 공학자들이 인공 일반 로봇의 큰 도약을 이루도록 이끌고 있습니다”고 말했습니다.
아울러 NVIDIA는 NVIDIA Thor 시스템 온 칩(SoC, system-on-a-chip) 기반의 새로운 휴머노이드 로봇용 컴퓨터를 공개했죠. 또한 로봇 학습을 위한 Isaac Lab, 하이브리드 클라우드 워크플로우 오케스트레이션(hybrid-cloud workflow orchestration)을 위한 NVIDIA OSMO를 포함한 NVIDIA Isaac 로봇 플랫폼의 새로운 툴도 발표했습니다. 이들은 프로젝트 GR00T와 로봇용 파운데이션 모델 개발에 중요한 역할을 할 것으로 기대됩니다.
로봇 팔을 위한 Isaac Manipulator
NVIDIA Isaac Manipulator는 로봇 팔을 위한 최첨단 모션 생성과 모듈식 AI 기능을 제공하며, 강력한 파운데이션 모델과 GPU 가속 라이브러리 컬렉션을 갖추고 있습니다.
로보틱스 개발자는 특정 작업에 맞게 맞춤 설정된 소프트웨어 구성 요소를 조합해 로봇이 주변 환경을 인식하고 상호 작용할 수 있게 하죠. 이를 통해 AI 모델 훈련과 작업 프로그래밍을 가속화해 동적 조작 작업을 위한 확장 가능하고 반복 가능한 워크플로우를 구축할 수 있습니다.
NVIDIA의 로봇 및 엣지 컴퓨팅 부문 부사장인 디푸 탈라(Deepu Talla)는 “파운데이션 모델 생성을 위한 새로운 툴을 Isaac 플랫폼에 통합함으로써 다양한 작업을 수행할 수 있는 스마트하고 유연한 로봇을 더 빠르게 개발할 수 있게 됐습니다”고 말했습니다.
로봇 선도 업체들은 Isaac Manipulator를 고객에게 제공하기 위해 NVIDIA와 협력하고 있는데요. 대표적인 기업으로는 야스카와(Yaskawa), 솔로몬(Solomon), 피크닉 로보틱스(PickNik Robotics), 레디 로보틱스(READY Robotics), 프랑카 로보틱스(Franka Robotics), 테라다인(Teradyne)의 자회사 유니버설 로봇(Universal Robots) 등이 있습니다.
야스카와의 대표인 마사히로 오가와(Masahiro Ogawa)는 “야스카와의 자동화 솔루션에 NVIDIA의 AI 툴과 기능을 도입함으로써 우리는 산업 전반에 걸쳐 로봇을 배치할 수 있는 지평을 넓히고 있습니다. 이는 다양한 산업에 큰 영향을 미칠 것으로 예상되죠”라고 말했습니다.
NVIDIA는 기존의 로봇 조작 시스템을 보강하기 위한 파운데이션 모델을 선보이고 있습니다. 이러한 모델들은 스마트 제조, 픽앤플레이스(pick-and-place) 작업, 기계 조작과 조립을 처리하는 데 있어서 다양한 환경과 애플리케이션에 맞게 로봇이 감지, 적응, 재프로그래밍할 수 있도록 개발하는 데 도움이 될 것입니다. 이러한 모델은 다음과 같습니다.
- FoundationPose는 기존에는 감지하지 못했던 물체들의 6D 포즈 추정과 추적을 위한 선구적인 파운데이션 모델입니다.
- cuMotion은 여러 궤적 최적화를 동시에 실행해 최상의 솔루션을 제공합니다. 산업 규모의 로봇 모션 계획 문제를 해결하기 위해 NVIDIA GPU의 병렬 처리 기능을 활용합니다.
- FoundationGrasp은 미지의 3D 물체에 대해 깊이 있게 파악하고 예측 기능을 수행하는 트랜스포머 기반 모델입니다.
- SyntheticaDETR은 실내 환경을 위한 물체 감지 모델로, 새로운 물체를 더 빠르게 감지, 렌더링, 훈련할 수 있습니다.
Isaac Perceptor로 자율 이동 로봇에 시각 AI 제공
제조와 주문 처리 작업에서 효율성과 작업자 안전을 개선하고 오류율과 비용을 줄이기 위해 자율 이동 로봇(AMR, autonomous mobile robot)을 채택하고 있습니다.
Isaac Perceptor는 멀티 카메라, 360도 비전 기능을 제공합니다. 이를 통해 아크베스트(ArcBest), BYD, 키온 그룹(KION Group)과 같은 초기 업계 파트너에게 자재 취급 작업을 지원하는 자율 이동 로봇 설치를 위한 고급 시각 AI를 제공하죠.
NVIDIA는 세그웨이 로보틱스(Segway Robotics)와 레오파드 이미징(Leopard Imaging)과 협력해 NVIDIA 노바 오린 데브키(Nova Orin DevKi)를 개발했습니다. 기업들은 Isaac Perceptor의 개발, 검증, 배포의 과정을 신속하게 처리할 수 있죠.
아크베스트의 최고 혁신 책임자이자 아크베스트 테크놀로지스(ArcBest Technologies)의 대표인 마이클 뉴시티(Michael Newcity)는 이렇게 말했습니다. “아크베스트는 물류 분야에 최첨단 머신 비전 기술을 도입하기 위해 NVIDIA와 협력하고 있습니다. 복스 스마트 오토노미(Vaux Smart Autonomy) AMR 지게차와 리치 트럭에 Isaac Perceptor 플랫폼을 사용하면 창고, 유통 센터, 제조 시설의 자재 취급 프로세스에서 장애물 감지를 위한 인식, 의미 인식 내비게이션, 3D 매핑을 개선할 수 있죠.”
휴머노이드 로봇 개발을 위한 프로젝트 GR00T
GTC 2024에서 시연된 GR00T 기반 휴머노이드 로봇은 텍스트, 비디오, 데모 등 다양한 형태의 지시를 수신할 수 있을 뿐만 아니라 이전 상호작용을 이용해 로봇이 원하는 동작을 수행할 수 있습니다. NVIDIA는 어질리티 로보틱스(Agility Robotics), 앱트로닉(Apptronik), 푸리에인텔리전스(Fourier Intelligence), 유니트리 로보틱스(Unitree Robotics)의 휴머노이드 로봇 4종에 탑재된 GR00T를 선보였습니다.
휴머노이드 로봇은 고주파 저레벨 제어, 센서 융합과 인식, 작업 계획, 인간과 로봇의 상호 작용 등의 요구를 충족하기 위해 이기종 컴퓨팅(heterogeneous computing)이 필요한 복잡한 시스템인데요. NVIDIA는 NVIDIA Thor SoC에 기반한 새로운 휴머노이드 로봇용 Jetson Thor 탑재 컴퓨터를 공개했습니다.
Jetson Thor는 NVIDIA Blackwell 아키텍처 기반의 차세대 GPU와 800테라플롭스의 8비트 부동 소수점 AI 성능을 제공하는 트랜스포머 엔진을 갖췄습니다. 이를 통해 GR00T와 같은 멀티모달 생성형 AI 모델을 실행할 수 있죠. 또한 통합 기능 안전 프로세서, 고성능 CPU 클러스터와 100GB의 이더넷 대역폭을 통해 설계와 통합 작업을 크게 간소화합니다.
프로젝트 GR00T는 로봇 개발자가 파운데이션 모델을 구축하고 테스트하기 위해 사용할 수 있는 Isaac 도구를 사용합니다. 여기에는 휴머노이드 로봇 모델을 대규모로 훈련하기 위해 Isaac Sim에 내장된 새로운 경량 시뮬레이션 앱인 Isaac Lab이 포함됩니다. 또한, 훈련과 시뮬레이션 워크로드 관리용 클라우드 워크플로우 오케스트레이션 플랫폼인 OSMO도 함께 포함됩니다.
Isaac Lab으로 로봇 학습 가속화하기
걷기나 잡기 등의 고급 이동 기술이 필요한 로봇은 시뮬레이션 환경에서 심층 강화 학습을 사용하고, 가상 환경에서 반복적으로 훈련해 기술을 익혀야 하죠. 그러나 그렇게 모델이 습득한 기술의 유용성은 실제 로봇 운용 환경에 적용될 때 더욱 진가가 발휘되는데요. 이는 프로젝트 GR00T를 통해 입증됐습니다.
Isaac Gym의 후속작인 Isaac Lab은 물리 기반의 사실적인 인식 기반 강화 학습 작업을 위해 NVIDIA Omniverse 기술을 활용합니다. Isaac Lab은 Isaac Sim 플랫폼에 구축된 로봇 학습용 오픈 소스 애플리케이션으로, 성능에 최적화돼 있습니다. 이 애플리케이션에는 강화 학습 API와 개발자 친화적인 작업 프레임워크가 통합됩니다.
NVIDIA OSMO로 클라우드 네이티브 로보틱스 워크플로우 스케줄링 활성화하기
NVIDIA OSMO는 분산 환경 전반에서 워크로드를 확장합니다. 복잡하고 다양한 단계를 포함하는 작업이 요구되는 로보틱스 분야의 경우, 이 플랫폼은 위치에 구애받지 않고 배치할 수 있는 옵션과 배치된 모델에 대한 데이터 세트 관리와 추적 기능을 제공합니다.
보스턴 다이내믹스(Boston Dynamics)의 머신 러닝과 인식 책임자인 팻 매리언(Pat Marion)은 “보스턴 다이내믹스는 로봇을 구동하기 위해 다양한 머신 러닝, 강화 학습, AI 기술을 활용하고 있습니다. 대규모 트레이닝 워크로드를 효과적으로 관리하기 위해 우리는 NVIDIA OSMO 인프라 솔루션을 사용하고 있죠. 이는 머신 러닝 엔지니어들이 워크플로우를 간소화하고 자신의 전문성을 까다로운 로보틱스 문제를 해결하는 데 전념하도록 도와줍니다”고 말했습니다.
예를 들어, OSMO는 훈련을 위해 NVIDIA DGX에서 모델을 실행하고, 시뮬레이션에서 라이브 강화 학습을 위해 NVIDIA OVX 서버를 동시에 실행하며 GR00T를 지원합니다. 이 워크로드에는 반복적으로 모델을 생성하고 훈련하는 작업이 포함됩니다. 분산 환경 전반에서 워크로드를 관리하고 예약하는 OSMO의 기능을 통해 DGX와 OVX 시스템을 원활하게 조정할 수 있습니다. 이는 효율적이고 반복적인 모델 개발을 가능하게 하죠. 모델이 테스트와 검증을 위한 준비가 완료되면 OSMO는 OVX(x86-64)의 소프트웨어 인더루프(software-in-the-loop, SIL) 워크플로우와 NVIDIA Jetson (aarch64) 컴퓨팅 리소스를 사용한 하드웨어 인더루프(hardware-in-the-loop, HIL) 워크플로우를 독자적으로 조율할 수 있습니다.
개발자를 위한 ROS 에코시스템 지원
NVIDIA는 오픈 소스 로보틱스 얼라이언스(OSRA, Open Source Robotics Alliance) 조직의 창립 멤버이자 플래티넘 스폰서로 합류했습니다. OSRA는 로봇 운영 체제(ROS)를 비롯한 여러 오픈 소스 로봇 프로젝트를 지원하죠. 이들은 로보틱스 커뮤니티의 협업, 혁신, 기술 지침을 촉진하기 위한 ‘오픈 소스 로보틱스 재단(OSRF, Open Source Robotics Foundation)’이 시작한 새로운 프로젝트입니다.
오픈 로보틱스(Open Robotics)의 CEO인 바네사 얌존 오르시(Vanessa Yamzon Orsi)는 “자율 로봇의 기능이 향상됨에 따라 더 강력하면서도 에너지 효율적인 온보드 컴퓨팅에 대한 수요가 증가하고 있습니다. ROS 커뮤니티는 이러한 수요를 직접 경험하고 있으며, 우리 사용자들은 점점 더 NVIDIA와 같은 업계 리더의 고급 가속 컴퓨팅 하드웨어를 활용하고 있습니다”고 말했습니다.
Nova Orin 플랫폼의 NVIDIA Isaac Perceptor 평가 키트, Isaac Manipulator, Isaac Lab, OSMO는 올해 2분기에 고객과 파트너에게 제공될 예정입니다. 프로젝트 GR00T에 대해 더 자세히 확인해보세요.