NVIDIA는 NVIDIA Open Robotics, NVIDIA Jetson 엣지 AI 플랫폼과 GPU 기반 시스템에서 로봇운영체제 ROS 2의 성능 가속화를 위해 협력합니다. 이번 이니셔티브는 개발 시간을 단축하고 컴퓨터 비전과 AI·머신 러닝 기능을 로봇운영체제(Robot Operating System, ROS) 기반 애플리케이션에 통합하려는 개발자에게 향상된 성능을 지원합니다.
오픈 로보틱스의 브라이언 거키(Brian Gerkey) CEO는 “많은 ROS 개발자들이 호스트 CPU를 오프로드하도록 설계된 추가 컴퓨팅 기능을 갖춘 하드웨어 플랫폼을 활용함에 따라, ROS도 이러한 고급 하드웨어 리소스를 효율적으로 활용하도록 진화하고 있습니다”라며 “NVIDIA와 같은 가속 컴퓨팅 분야의 선도기업과 협력해 AI와 로봇 기술 혁신에 대한 방대한 경험을 활용하는 것은 ROS 커뮤니티 전체에 상당한 혜택으로 다가올 것입니다”라고 설명했습니다.
오픈 로보틱스, NVIDIA AI에 대한 ROS 확장
NVIDIA Jetson 플랫폼은 다양한 애플리케이션에 걸쳐 로봇 공학자들이 널리 채택하고 있습니다. NVIDIA Jetson 플랫폼은 로봇의 응답성, 안전성과 협업성을 높이기 위해 고성능과 함께 낮은 지연시간의 프로세싱을 지원하도록 설계됐습니다.
오픈 로보틱스는 ROS 2의 성능을 향상시켜 NVIDIA Jetson 엣지 AI 플랫폼에 적용된 GPU, 기타 프로세서에 걸친 데이터 플로우와 공유 메모리를 효율적으로 관리합니다. 이로써 카메라, 라이다(LiDAR) 등의 센서에서 수집된 고대역폭 데이터를 실시간으로 처리하는 애플리케이션의 성능이 대폭 향상되죠.
NVIDIA는 오픈 로보틱스의 이그니션 가제보(Ignition Gazebo)와 NVIDIA Omniverse 기반 Isaac Sim 간의 원활한 시뮬레이션 상호 운용성을 위해 오픈 로보틱스와 협력하고 있습니다. Isaac Sim은 현재 ROS 1, 2에 대한 OOTB(out of the box) 지원과 함께 블렌더(Blender), 언리얼 엔진(Unreal Engine) 4를 비롯한 인기 애플리케이션과의 연결을 통해 3D 콘텐츠 제작에 중요한 에코시스템을 갖췄습니다.
이그니션 가제보는 현재 진행 중인 미국방위고등연구계획국(DARPA)의 서브테리니언 챌린지(Subterranean Challenge)와 같이 세간의 이목을 끄는 콘테스트를 비롯해 로봇 커뮤니티 전반에 걸쳐 수십 년 동안 광범위하게 사용됐죠.
ROS 개발자는 두 시뮬레이터가 연결된 상태에서 이그니션 가제보와 Isaac Sim 간에 로봇과 환경을 쉽게 이동할 수 있습니다. 이로써 높은 충실도, 정확한 센서 모델, 사실적 렌더링과 같은 시뮬레이터의 향상된 기능을 활용해 AI 모델의 테스트와 훈련에 사용될 합성 데이터를 생성할 수 있죠.
이번 협력을 통해 구축되는 소프트웨어는 2022년 봄에 출시될 것으로 예상됩니다.
ROS용으로 출시된 Isaac GEM
ROS용 Isaac GEM은 하드웨어 가속 패키지로, ROS 개발자가 Jetson 플랫폼에서 고성능 솔루션을 쉽게 구축하도록 지원합니다. 해당 GEM은 이미지 처리와 로봇 공학자 사이에서 중요성이 점점 강조되는 심층 신경망(DNN) 기반 인식 모델의 처리량 향상에 주력합니다. 이러한 패키지는 호스트 CPU의 로드를 줄이는 동시에 성능을 대폭 향상합니다.
ROS용 최신 Isaac GEM은 다음과 같습니다.
- SGM 스테레오 디스패리티 및 포인트 클라우드(SGM Stereo Disparity and Point Cloud)
- 컬러 스페이스 변환 및 렌즈 왜곡 보정(Color Space Conversion and Lens Distortion Correction)
- 에이프릴 태그 감지(AprilTags Detection)
Isaac Sim, ROS 개발자를 위한 새로운 기능 제공
Isaac ROS2 내비게이션 스택과 모벨트 모션 플래닝 프레임워크(MoveIt Motion Planning Framework)이 이용 가능하며, Isaac Sim 설명서에서 자세한 내용을 확인할 수 있습니다.
Isaac Sim의 ROS 예시
- ROS 에이프릴 태그
- ROS 스테레오 카메라
- ROS 내비게이션
- ROS 터틀봇(TurtleBot) 3 샘플
- ROS 매니퓰레이션(Manipulation) 및 카메라 샘플
- ROS 서비스
- 모벨트 모션 플래닝 프레임워크
- 네이티브 파이썬(Python) ROS 사용
- ROS2 내비게이션
인식 훈련을 위한 합성 데이터 세트를 생성하는 Isaac Sim
Isaac Sim은 로봇 시뮬레이터 기능 외에도 인식 모델을 훈련하고 테스트하기 위한 합성 데이터를 생성하는 강력한 기능을 제공합니다. 이러한 기능은 로봇 공학자들이 플랫폼에 보다 많은 인식 기능을 통합하면서 점차 중요해질 것인데요. 로봇이 주변 환경을 더욱 정확히 인식할수록 자율성은 보다 높아지며, 인간의 개입은 줄일 수 있습니다.
Isaac Sim이 생성한 합성 데이터 세트는 AI 모델 조정 플랫폼인 NVIDIA TAO에 직접 공급돼 로봇의 특정 작업환경에 대한 인식 모델을 조정하게 합니다. 로봇의 인식 스택이 주어진 작업환경에서 실행될 수 있을지 확인하는 작업은 대상 환경에서 실제 데이터를 수집하기에 앞서 개시될 수 있습니다.
로봇 공학자는 그동안 AI 기반 인식 스택에 탐색과 같은 고전적인 로봇 작업을 연결, 통합하는 데 어려움을 겪어 왔는데요. Isaac Sim은 간소화된 TAO 훈련 플랫폼 통합을 지원하는 로보틱스와 합성 데이터 생성 툴로, 이러한 워크플로우 난제에 해법을 제시합니다.
더 많은 인식 기술을 공개하는 ROS 월드와 GTC 2021
NVIDIA는 10월 21일부터 22일까지 진행되는 ROS 개발자 컨퍼런스인 ROS 월드에서 일부 인기 있는 DNN을 비롯해 Jetson 개발자들을 위한 새로운 GEM을 공개할 계획입니다. 또한, ROS 개발자 커뮤니티를 지원하는 Isaac Sim 기능을 발표할 예정입니다. NVIDIA의 가상 부스에 방문해 ROS 라운드테이블에 참석하고 Isaac Sim 관련 기술 프레젠테이션을 시청할 수 있습니다.
또한, NVIDIA는 11월 8일부터 11일까지 진행 예정인 세계 최대 GPU 기술 컨퍼런스 GTC에서 우수한 연사, 강연과 콘텐츠 라인업을 선보입니다. 오픈 로보틱스 CEO인 브라이언 거키의 프레젠테이션을 포함해 로봇 개발자들을 위한 다양한 세션을 마련했습니다. NVIDIA Jetson, Isaac ROS, Isaac Sim 및 Isaac GYM을 비롯한 다양한 주제의 강연도 제공합니다.
NVIDIA AI 인식 관련 링크
개발자들은 아래 링크를 활용해 NVIDIA AI 인식을 제품에 추가할 수 있습니다.