로봇에게 복잡한 기술을 가르칠 수 있는 새로운 AI 에이전트를 개발한 엔비디아 리서치가 로봇 손이 인간처럼 빠르게 펜을 돌리는 트릭을 수행할 수 있도록 처음으로 훈련시켰습니다.
위 동영상에서 볼 수 있는 이 놀라운 프리스티디게이션은 로봇을 훈련시키기 위해 보상 알고리즘을 자율적으로 작성하는 유레카 덕분에 로봇이 전문적으로 수행할 수 있도록 학습한 약 30개의 작업 중 하나입니다.
유레카는 로봇에게 서랍과 캐비닛 열기, 공 던지기 및 받기, 가위 조작하기 등의 작업도 가르쳤습니다.
오늘 발표된 유레카 연구에는 논문과 프로젝트의 AI 알고리즘이 포함되어 있으며, 개발자는 강화 학습 연구를 위한 물리 시뮬레이션 레퍼런스 애플리케이션인 엔비디아 아이작 짐(NVIDIA Isaac Gym)을 사용하여 실험해 볼 수 있습니다. 아이작 짐은 OpenUSD 프레임워크 기반의 3D 툴 및 애플리케이션을 구축하기 위한 개발 플랫폼인 엔비디아 옴니버스(NVIDIA Omniverse)를 기반으로 구축되었습니다. 유레카 자체는 GPT-4 대규모 언어 모델로 구동됩니다.
“강화 학습은 지난 10년 동안 인상적인 성과를 거두었지만, 여전히 시행착오를 겪고 있는 보상 설계와 같은 많은 과제가 남아 있습니다.”라고 유레카 논문의 저자이면서 엔비디아의 AI 연구 수석 디렉터인 아니마 아난드쿠마르(Anima Anandkumar)는 말합니다. “유레카는 어려운 작업을 해결하기 위해 생성 학습과 강화 학습 방법을 통합하는 새로운 알고리즘을 개발하기 위한 첫걸음입니다.”
로봇을 훈련시키는 AI
이 논문에 따르면 로봇의 시행착오 학습을 가능하게 하는 유레카 생성 보상 프로그램은 80% 이상의 작업에서 사람이 작성한 전문 보상 프로그램보다 성능이 뛰어납니다. 이는 로봇의 평균 50% 이상의 성능 향상으로 이어집니다.
서랍을 여는 방법을 유레카로부터 학습한 로봇 팔.
AI 에이전트는 GPT-4 LLM과 생성형 AI를 활용하여 강화 학습을 위해 로봇에 보상을 제공하는 소프트웨어 코드를 작성합니다. 작업별 프롬프트나 사전 정의된 보상 템플릿이 필요하지 않으며, 사람의 피드백을 쉽게 통합하여 개발자의 비전에 더 정확하게 부합하는 결과를 위해 보상을 수정할 수 있습니다.
유레카는 이삭 짐의 GPU 가속 시뮬레이션을 사용하여 보다 효율적인 훈련을 위해 대량의 보상 후보 품질을 빠르게 평가할 수 있습니다.
그런 다음 유레카는 훈련 결과의 주요 통계 요약을 작성하고 LLM에 보상 함수 생성을 개선하도록 지시합니다. 이러한 방식으로 AI는 스스로 개선됩니다. 네발 로봇, 이족 보행 로봇, 네발 로봇, 손재주 로봇, 코봇 팔 등 모든 종류의 로봇이 모든 종류의 작업을 수행할 수 있도록 학습합니다.
이 연구 논문은 로봇 손이 다양하고 복잡한 조작 기술을 발휘해야 하는 오픈 소스 손재주 벤치마크를 기반으로 유레카가 훈련한 20가지 과제에 대한 심층적인 평가를 제공합니다.
9개의 아이작 짐 환경에서 얻은 결과는 엔비디아 옴니버스를 사용하여 생성된 시각화에서 확인할 수 있습니다.
유레카를 통해 달리기 걸음걸이를 학습하는 휴머노이드 로봇.
“유레카는 대규모 언어 모델과 엔비디아 GPU 가속 시뮬레이션 기술의 독특한 조합입니다.”라고 프로젝트의 기여자 중 한 명인 린시 “짐” 팬(Linxi “Jim” Fan) 엔비디아 선임 연구 과학자는 말합니다. “유레카는 로봇을 민첩하게 제어하고 아티스트에게 물리적으로 사실적인 애니메이션을 제작할 수 있는 새로운 방법을 제공할 것으로 믿습니다.”
유레카는 마인크래프트를 자율적으로 플레이할 수 있는 GPT-4로 구축된 AI 에이전트인 보이저(Voyager)와 같은 최근 엔비디아 리서치의 발전에 더해 개발자들의 마음을 설레게 하는 획기적인 작업입니다.
전 세계 수백 명의 과학자와 엔지니어로 구성된 엔비디아 리서치는 AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율 주행 자동차 및 로봇 공학 등의 주제에 중점을 둔 팀으로 구성되어 있습니다.