NVIDIA와 학계 연구진이 협력하여 로봇이 수술을 집행할 수 있도록 지원하고 있습니다.
University of Toronto, UC Berkeley, ETH Zurich, Georgia Tech 및 NVIDIA의 연구진이 개발한 ORBIT-Surgical은 외과의의 인지 부하를 줄이면서 수술 팀의 기술을 강화할 수 있는 로봇을 훈련하기 위한 시뮬레이션 프레임워크입니다.
이 프레임워크는 복강경 수술, 즉 최소 침습 수술을 위한 훈련 커리큘럼에서 영감을 받아 바늘과 같은 작은 물체를 잡고 한 팔에서 다른 팔로 전달하고 높은 정밀도로 배치하는 등의 12가지 이상의 기동을 지원합니다.
물리학 기반 프레임워크는 AI 기반 로봇을 설계, 훈련 및 테스트하기 위한 로봇 시뮬레이션 플랫폼인 NVIDIA Isaac Sim을 사용하여 구축되었습니다. 연구진은 강화 학습 및 모방 학습 알고리즘을 NVIDIA GPU에서 훈련하고, 사실적인 렌더링을 위해 유니버설 씬 디스크립션(OpenUSD) 기반의 고급 3D 애플리케이션 및 파이프라인을 개발 및 배포하기 위한 플랫폼인 NVIDIA Omniverse를 사용했습니다.
로봇 수술 분야의 선두주자인 Intuitive Surgical이 지원하는 비영리 단체인 인튜이티브 파운데이션에서 제공하는 커뮤니티 지원 다빈치 리서치 키트를 사용하여 ORBIT-Surgical 연구팀은 아래 비디오에서 시뮬레이션에서 디지털 트윈을 훈련하는 과정이 실험실 환경에서 실제 로봇에 어떻게 전달되는지 시연했습니다.
이번 주 목요일 일본 요코하마에서 열리는 IEEE 국제 로봇 공학 및 자동화 컨퍼런스인 ICRA에서 ORBIT-Surgical이 발표될 예정입니다. 오픈 소스 코드 패키지는 현재 GitHub에서 확인할 수 있습니다.
AI의 한 땀으로 9명을 구하다
ORBIT-Surgical은 Isaac Sim을 기반으로 구축된 로봇 학습용 모듈식 프레임워크인 Isaac Orbit을 기반으로 합니다. Orbit은 강화 학습 및 모방 학습을 위한 다양한 라이브러리를 지원하며, 이를 통해 AI 에이전트가 실제 전문가 사례를 모방하도록 학습합니다.
개발자는 수술용 프레임워크를 통해 다빈치 리서치 키트 로봇(dVRK)과 같은 로봇을 훈련시켜 NVIDIA RTX GPU에서 실행되는 강화 학습 및 모방 학습 프레임워크를 사용하여 강체 및 연성 물체를 모두 조작할 수 있도록 할 수 있습니다.
ORBIT-Surgical에는 거즈 조각 집기, 혈관에 션트 삽입 또는 봉합 바늘을 특정 위치로 들어 올리는 등의 한손 작업을 포함하여 수술 훈련을 위한 12가지 이상의 벤치마크 작업이 포함되어 있습니다. 또한 한 팔에서 다른 팔로 바늘을 옮기거나, 나사산 바늘을 링폴에 통과시키고, 장애물을 피하면서 두 팔을 특정 위치에 도달하는 등의 양손 작업도 포함됩니다.
왼쪽은 실제 로봇으로, 오른쪽은 시뮬레이션으로 션트를 삽입하는 장면으로, ORBIT-Surgical의 벤치마크 테스트 중 하나입니다.
연구팀은 GPU 가속 및 병렬화를 활용하는 수술 시뮬레이터를 개발하여 기존 수술 프레임워크에 비해 로봇 학습 속도를 크게 향상시킬 수 있었습니다. 연구팀은 로봇 디지털 트윈이 션트 삽입 및 봉합 바늘 들어올리기와 같은 작업을 2시간 이내에 완료하도록 훈련시킬 수 있다는 사실을 발견했으며, 이는 단일 NVIDIA RTX GPU에서 가능합니다.
또한 연구원들은 옴니버스 렌더링을 통해 시각적 사실감을 구현한 ORBIT-Surgical을 통해 수술실에서 촬영한 실제 영상에서 수술 도구 분할과 같은 인식 작업을 위한 고충실도 합성 데이터를 생성할 수 있으며, 이는 생성형 AI 모델을 훈련하는 데 도움이 될 수 있습니다.
연구팀의 개념 증명에 따르면 시뮬레이션과 실제 데이터를 결합하면 이미지에서 수술용 바늘을 분류하는 AI 모델의 정확도가 크게 향상되어 이러한 모델을 훈련하기 위한 대규모의 값비싼 실제 데이터 세트의 필요성을 줄일 수 있었습니다.
ORBIT-Surgical의 배경이 된 논문을 읽고 ICRA에서 NVIDIA가 작성한 논문에 대해 자세히 알아보세요.