시뮬레이션부터 실제 적용까지: AI 기반 로봇 구축하기

차세대 로봇은 전문가형 범용으로 진화할 전망입니다. 이는 다양한 지시를 이해하고 광범위한 기술을 습득하는 동시에, 특정 작업에 대해서도 훈련이 가능한 로봇인데요.

즉, 전문가형 범용 로봇은 다양한 분야를 두루 수행하면서도, 특정 업무를 완벽하게 수행할 수 있는 것입니다.

이러한 로봇 개발을 위해서는 데이터 수집·생성부터 제어 정책의 훈련·평가, 물리적 장비에 안전한 배포를 가능하게 하는 클라우드 투 로봇(cloud-to-robot) 통합 워크플로우가 필요합니다. 전문가형 범용 시스템은 다양한 작업 환경에서 인식, 이해, 행동을 지능적으로 수행하기 위해 추론 기반 비전 언어 행동(vision language action, VLA) 모델에 의존합니다.

그 전환을 가속화하기 위해, 오픈 NVIDIA Isaac 플랫폼은 로보틱스 개발자들에게 필요한 모델, 데이터 파이프라인, 시뮬레이션 프레임워크, 런타임 라이브러리 등 모든 요소를 제공합니다. 또한 NVIDIA의 3가지 컴퓨터 솔루션을 통해 로봇을 구축하고 대규모로 배포할 수 있도록 지원하죠. 개발자들은 오픈 VLA 모델인 NVIDIA Isaac GR00T N으로 자체 로봇 인텔리전스를 초기화하고 사후 훈련할 수 있는 강력한 기반을 마련할 수 있습니다.

이러한 모델, 라이브러리, 프레임워크는 클라우드 또는 엣지 AI 인프라에서 실행할 수 있으며, 오픈클로(OpenClaw)와 같은 장기 실행 에이전트와의 통합을 통해 더욱 높은 성능을 발휘할 수 있습니다.

이번 주 NVIDIA GTC에서 발표된 최신 에이전트 친화형 NVIDIA Isaac GR00T 모델, Isaac 로봇 시뮬레이션과 학습 프레임워크, 엣지 AI 시스템은 자율 전문가형 범용 시대를 위한 강력한 개발 도구를 제공합니다.

이러한 워크플로우는 오픈소스로 다양한 조합이 가능한데요. 개발자는 구성 요소를 자유롭게 조합하고, 자체 도구와 데이터를 활용해 프로토타입 단계부터 실제 배포까지의 파이프라인을 가속화할 수 있습니다.

불과 몇 년 전만 해도 로보틱스의 파이프라인 확장은 개발자가 수동으로 데이터를 수집하는 능력에 따라 좌우됐습니다. 또한 로봇의 학습 능력도 다양한 시나리오와 실제 환경에 노출되는 정도에 따라 결정됐죠.

NVIDIA 오픈소스 라이브러리와 프레임워크는 센서 로그, 원격 조작 시연 등 실제 환경에서 수집된 신호와 시뮬레이션에서 생성된 데이터를 결합합니다. 이를 통해 클라우드 컴퓨팅 자원을 활용 가능한 대규모 데이터로 신속하게 전환하는 새로운 방식을 제시하죠.

로보틱스 개발자들은 물리적으로 정확한 고정밀도 합성 데이터 생성을 통해 물리적 데이터 수집의 한계를 극복할 수 있는데요. 특히 드물게 발생하는 희귀한 예외 상황에 대한 물리적 데이터는 수집하기 어렵거나 불가능한 경우가 대부분입니다. 이러한 상황은 실제 환경에서 포착하기 어렵고 위험할 수 있지만, 예측 불가능한 현실 세계에서는 로봇을 대규모로 배포하기 전에 반드시 숙달해야 하는 중요한 요소입니다.

가트너(Gartner) 보고에 따르면, 현재 엣지 시나리오 AI 훈련 데이터 중 합성 데이터가 차지하는 비중은 20%에 불과하지만, 2030년까지 그 비중이 90% 이상으로 확대될 것으로 전망합니다.

물리적 세계를 기반으로 한 사실적인 합성 데이터 생성을 지원하는 NVIDIA의 라이브러리와 오픈 프레임워크는 이러한 변화를 가속하고 있습니다.

현재 정식 출시된 NVIDIA Omniverse NuRec의 가속 3D 가우시안 스플래팅(Gaussian splatting) 라이브러리는 실제 센서 데이터를 오픈소스 로봇 시뮬레이션 프레임워크인 NVIDIA Isaac Sim에서 활용 가능한 오픈USD(OpenUSD) 기반의 대화형 시뮬레이션으로 변환합니다. 이를 통해 개발자는 센서 데이터를 기반으로 실제 환경을 스캔하고 재현할 수 있으며, 실제 물리적 상호작용을 반영한 시뮬레이션에서 로봇을 안전하게 테스트할 수 있죠.

원격 조작을 통해 다른 기기에서 실제 데이터를 가져올 수도 있습니다. 정식 출시된 NVIDIA Isaac Teleop은 확장현실(XR) 헤드셋, 바디 트래커, 장갑 등 원격 조작 기기를 통해 수집된 데이터를 활용해, 실제 환경과 시뮬레이션 환경에서 데모 데이터를 생성할 수 있도록 지원하죠. 이 데이터는 NVIDIA Isaac Lab과 같은 시뮬레이션 환경에서 로봇 훈련에 활용될 수 있습니다.

이러한 데이터셋은 NVIDIA Physical AI Data Factory Blueprint를 통해 확장됩니다. 데이터 증강, 평가, 오케스트레이션을 단일 파이프라인으로 통합하는 것이죠.

NVIDIA Cosmos 오픈 월드 파운데이션 모델과 오픈소스 에이전틱 오케스트레이터인 NVIDIA OSMO를 기반으로, 이 레퍼런스 워크플로우는 로보틱스를 위한 확장 가능한 프로덕션 수준의 데이터 엔진을 제공합니다. 이를 통해 개발자는 실제 환경에서 유사한 데이터를 수집하는 데 걸리는 시간보다 훨씬 짧은 시간 안에 단일 실제 시나리오를 새롭고 다양한 합성 데이터로 확장할 수 있습니다.

환경과 데이터 시뮬레이션 이외에도, 로봇 개발자는 로봇 자체에 대한 시뮬레이션도 수행해야 합니다. NVIDIA Isaac Sim을 활용하면 휴머노이드, 자율 주행 로봇(AMR), 로봇 팔 등 다양한 로봇 모델을 선택할 수 있고, 가상 모델을 실제 사양에 맞게 설정할 수 있습니다.

이 로봇은 오픈USD로 구현돼, 생성된 데이터, 환경과 원활하게 상호작용할 수 있습니다. 로봇의 동작과 궤적을 기록하고 재생하며, AI 훈련 모델에 활용할 수 있죠. 모든 과정은 실제 하드웨어를 사용하기 전에 시뮬레이션 환경에서 안전하게 수행됩니다.

학습 자료인 데이터셋이 수집되면 이제 로봇이 새로운 작업을 배울 차례입니다. 이 과정은 GR00T와 같은 추론 기반 VLA로 구동되는 로봇의 두뇌에서부터 시작됩니다.

VLA는 수행하려는 작업에 특화된 데이터를 사용해 사후 훈련을 지원합니다. 예를 들어, 세탁물 접기 로봇은 옷을 집어 들고, 그 모양을 식별하며, 올바르게 접고, 이미 접힌 옷 위에 깔끔하게 쌓을 수 있도록 훈련합니다. 요리 로봇은 재료를 썰고, 저으며, 볶는 데 능숙해야 하고, 병원 돌봄 로봇은 복도를 이동하고, 엘리베이터를 찾고, 의료진 또는 환자에게 물건을 건네는 방법을 배워야 하죠.

VLA 모델의 사후 훈련이 완료되면, 개발자들은 로봇 정책을 본격적으로 검증할 수 있습니다. 이러한 로봇을 실제 환경에서 훈련시키는 것은 시간과 비용이 많이 소요되며 위험한데요. 이에 개발자들은 최근 발표된 Isaac Lab 3.0과 같은 프레임워크를 활용해 시뮬레이션 환경에서 훈련을 진행하고 있습니다. 이 프레임워크는 로봇에게 수천 개의 경량 물리 기반 시뮬레이션 환경을 병렬로 제공해, 다양한 시나리오를 동시에 안전하게 학습할 수 있도록 지원하죠. 즉 실제 환경에서는 수년이 걸릴 학습을 단 며칠 만에 완료할 수 있습니다.

Isaac Lab은 로봇 학습용 오픈소스 물리 엔진인 Newton과 통합됩니다. 개발자는 Newton을 통해 중력, 관성 등 물리 법칙과 충돌 제약 조건을 적용하고, 물체의 움직임을 계산하는 다양한 유형의 물리 솔버를 결합해 시뮬레이션이 현실적으로 작동할 수 있도록 합니다. 이를 통해 개발자는 로봇이 천과 같이 부드러운 물체와 상호작용하거나, 눈과 자갈 등의 지형을 통과하는 방식을 시뮬레이션할 수 있습니다.

또한 로봇 개발자들은 조작과 이동 작업을 위한 핵심 구성 요소를 제공하는 NVIDIA Isaac 라이브러리와 AI 모델을 활용할 수 있는데요. 이는 엣지 환경에서의 런타임 배포에 최적화돼 있습니다.

매니퓰레이션용 Isaac: 로봇이 물체를 인식하고, 기하학적 구조와 자세를 파악하며, 물체를 잡을 수 있도록 지원합니다. 개발자는 이러한 인식 모델을 GPU 가속 모션 생성 기술과 결합해, 로봇이 복잡하고 지속적으로 변화하는 환경에서도 신속하게 경로를 계획하고 재설계할 수 있도록 지원합니다.

모빌리티용 Isaac: 로봇이 위치를 파악하고, 지도를 생성하며, 안전하게 이동할 수 있는 기반을 제공합니다. 개발자는 GPU 가속 시각 오도메트리(odometry)와 SLAM을 활용해 안정적으로 위치를 파악하고, 실시간 3D 재구성을 결합해 장애물과 환경 변화를 회피하며 이동할 수 있습니다.

시뮬레이션에서 학습한 내용이 실제 환경에서도 그대로 적용될 수 있도록, Isaac Sim과 Isaac Lab은 Newton뿐 아니라 NVIDIA PhysX와 구글 딥마인드(Google DeepMind)의 무조코(Mujoco) 등의 물리 엔진도 지원하는데요. 이를 통해 개발자는 로봇을 별도로 조정할 필요 없이 프레임워크 간 전환을 손쉽게 수행할 수 있습니다.

단일 기술에 대한 훈련만으로는 부족할 때가 있습니다. 따라서 개발자는 로봇의 기술이 다양한 환경과 작업에 걸쳐 적용될 수 있는지 검증해야 하는데요. 최근 출시된 Isaac Lab-Arena는 대규모 작업 설정과 정책 평가를 지원해, 환경 구성을 간소화하고 복잡한 작업 생성을 가속화합니다. 이는 개발자가 다양한 작업을 병렬로 평가할 수 있도록 돕습니다. Isaac Lab-Arena는 리베로(LIBERO), 로보트윈(RoboTwin), 니스트(NIST) 등 산업·학술 벤치마크와 연결돼 개발자가 자신의 진행 상황을 편리하게 평가할 수 있습니다.

로봇은 실제 환경에 배포되기 전에 학습한 내용을 다양한 조건에서 반복적으로 테스트해야 합니다. 로봇의 동작과 조작부터 각 작업에 대한 로봇 역학 반응까지, 모든 세부 요소가 실제 환경에서 동작하기 전에 철저히 평가돼야 하는데요.

포괄적인 테스트에는 로보틱스 소프트웨어 스택을 테스트하는 ‘소프트웨어 인 더 루프(software-in-the-loop)’와, 로봇 두뇌인 엣지 컴퓨팅에서 스택이 어떻게 실행되는지를 테스트하는 ‘하드웨어 인 더 루프(hardware-in-the-loop)’가 포함됩니다.

Isaac Sim은 하드웨어 인 더 루프와 소프트웨어 인 더 루프 테스트를 모두 지원합니다. 이를 통해 개발자는 실제 환경과 시뮬레이션 환경을 쉽게 오가며 테스트하고 반복 작업을 진행할 수 있죠.

최신 버전의 Isaac Sim은 개발자가 다양한 워크플로우를 원활하게 전환할 수 있도록 설계됐습니다. 이는 NuRec 렌더링을 지원해 데이터 입력을 간편하게 하며, 다양한 물리 백엔드를 통해 로봇이 Isaac Sim과 Isaac Lab 사이를 큰 수정 없이 오갈 수 있도록 지원합니다.

또한 Isaac Sim은 Mega와 직접 연결됩니다. 메가는 디지털 트윈 환경에서 피지컬 AI, 로봇 제품을 대규모로 개발, 테스트, 최적화하기 위한 NVIDIA Blueprint인데요. 이를 통해 로보틱스 개발자는 단일 로봇부터 수십, 수백 대의 로봇까지 테스트를 확장할 수 있습니다.

배포 준비가 완료되면 개발자는 모델을 원활하게 실행하고, 다양한 고속 센서 데이터를 처리하며, 여러 형태와 크기의 로봇을 엣지에서 지원하기 위한 고성능 컴퓨팅이 필요합니다.

Jetson Thor, Jetson Orin으로 구성된 NVIDIA Jetson 제품군은 소형 매니퓰레이터부터 대형 휴머노이드까지 모든 종류의 AI 로봇을 지원하며, 실시간 센싱과 AI 추론을 가능하게 합니다.

또한 NVIDIA Isaac 런타임 라이브러리는 엣지 환경에서의 로보틱스 정책 최적화를 지원합니다. 최신 오픈소스 cuVSLAM 라이브러리는 Jetson 기반 임베디드 컴퓨터를 활용해 로봇이 자신의 위치를 실시간으로 파악하고 지도를 생성하며, 정확하고 안정적으로 이동할 수 있게 합니다.

로봇이 전문가형 범용으로 발전함에 따라, 연구자들은 기존 기능을 처음부터 다시 만들 필요 없이 쉽게 개선하고 반복할 수 있는 유연한 워크플로우가 필요하게 됐습니다.

SOMA-X는 NVIDIA의 새로운 오픈 연구 프레임워크로, AI, 시뮬레이션, 실제 로봇 전반에서 골격, 동작, 정체성 표현을 표준화합니다.

SOMA-X를 활용하면 리깅(rigging), 모션 리타겟팅(motion retargeting), 통합 작업을 반복적으로 수행할 필요 없이 다양한 신체 모델이나 로봇 플랫폼을 쉽게 교체할 수 있죠. 이를 통해 하드웨어·소프트웨어 진화와 함께 Isaac Sim, Isaac Lab, GR00T 기반 파이프라인을 안정적으로 유지할 수 있습니다.

새로운 신체 모델, 데이터셋, 하드웨어가 등장하더라도, 개발자는 동일한 SOMA-X 공유 표현을 활용해 기존 도구를 변경하지 않고 유지할 수 있습니다. 또한 지속적으로 새로운 행동을 훈련·평가·배포하는 오픈클로 등 장기 실행 에이전트를 안정적으로 운영할 수 있죠.

이 공유된 신체 레이어를 바탕으로 연구자들에게 공개된 기어-소닉(GEAR-SONIC)은 휴머노이드 로봇을 위한 강력한 기능을 제공하는 새로운 파운데이션 모델입니다. 소닉은 Isaac Lab의 대규모 인간 동작 데이터셋으로 훈련됐는데요. 여러 개의 작업별 컨트롤러 대신 단일 통합 정책을 통해 보행, 기어가기, 물체 조작 등 다양한 전신 동작을 자연스럽게 수행하도록 로봇을 훈련시킵니다.

NVIDIA의 로보틱스 스택은 안전 도구와 시작 리소스를 함께 제공해, 실험 단계에서 안정적인 대규모 시스템 배포로의 전환을 가속합니다.

• NVIDIA Halos: 클라우드부터 로봇까지 전 과정을 아우르는 엔드투엔드 안전 가드레일을 통해 안전한 로보틱스 개발, 훈련, 배포를 지원하는 풀스택 안전 시스템입니다.
• NVIDIA GR00T X-Embodiment: NVIDIA GR00T 사후 훈련에 사용된 동일한 데이터를 포함한 데이터셋으로, 허깅페이스(Hugging Face)에서 1,000만 회 이상 다운로드됐습니다.
• 본즈-시드(BONES-SEED): 본즈 스튜디오(Bones Studio)는 14만 개의 인간 동작 애니메이션으로 구성된 휴머노이드 로봇 훈련용 대규모 라이브러리를 공개했습니다. 각 동작은 설명과 타임스탬프로 정밀하게 라벨링돼 있어 보다 지능적이고 사실적인 로봇을 구축하는 즉시 활용 가능한 기반을 제공합니다. 본즈-시드는 허깅페이스의 NVIDIA Physical AI Open Dataset 컬렉션을 통해 제공됩니다.
• 교육 리소스: Isaac Sim과 Isaac Lab 학습 경로가 제공돼 로보틱스 개발 입문자의 개발을 지원합니다. 또한 NVIDIA DLI(Deep Learning Institute)는 자율형·강의형 강좌를 통해 로보틱스 개발 여정을 빠르게 시작할 수 있도록 돕습니다.

NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)의 GTC 키노트를 시청하고, 피지컬 AI, 로보틱스, 비전 AI 세션을 살펴보세요.