제조 현장과 창고, 생산 라인은 좀처럼 그대로 머물러 있지 않습니다. 작업이 바뀌고 배치가 달라지며 새 제품이 들어오죠. 그런데 대부분의 로봇은 대대적인 재프로그래밍 없이는 이런 변화를 따라가지 못합니다.
Skild AI의 새로운 로봇 파운데이션 모델 S1이 바로 이 문제를 겨냥합니다. 단 한 편의 영상 시연만 보고 한 번도 접한 적 없는 장기 과업을 익히도록 설계됐죠. 지난주 공개된 이 모델은 영상을 입력으로 받아 작업을 이해하고 수행하는데, 가중치를 갱신하거나 작업별 포스트 트레이닝을 거치지 않습니다. 인컨텍스트 러닝(in-context learning)이라 불리는 기법입니다.
Skild는 NVIDIA AI 인프라 위에서 S1을 구축하고 연구를 수행했습니다. 이는 합성 데이터 생성과 모델 학습, 시뮬레이션, 실제 환경의 피지컬 AI 배포를 아우르는 폭넓은 협력의 일환인데요. 양사는 상황에 맞춰 적응하는 로봇 지능을 연구실에서 공장을 비롯한 역동적인 운영 현장으로 옮기기 위해 함께 일하고 있습니다.
Skild AI 공동 창업자 겸 CEO Deepak Pathak은 “사전 프로그래밍이 아니라 경험을 통해 배우는 것, 이것이 로보틱스에서 일어난 질적 도약입니다. NVIDIA Isaac Lab과 NVIDIA Cosmos 기술은 Skild의 로봇이 다양한 시나리오와 임바디먼트(embodiment)에 걸쳐 학습하는 데 필요한, 확장 가능하고 폭넓은 경험을 만들어 내도록 돕습니다”라고 말했습니다.
이번 공개는 Skild가 첫 상용 배포 10개월 만에 연 매출 1억 달러 런레이트(run rate)에 도달한 시점에 나왔습니다. 그사이 Skild는 제조와 물류, 검사, 보안, 식품 조리를 비롯한 여러 분야에서 60곳이 넘는 배포 파트너십을 맺었죠.
영상 한 편으로 새로운 작업을 배우다
대부분의 산업용 로봇은 정해진 작업을 위해 만들어집니다. 그래서 새로운 제품이나 공정, 배치가 생길 때마다 더 많은 데이터와 재학습, 검증이 필요하죠.
S1은 다른 길을 택했습니다. 작업자가 원하는 작업을 영상으로 찍어 모델에 프롬프트로 건네면, 모델이 시연에 담긴 의도와 사물, 순서를 해석한 뒤 눈앞의 로봇이 수행할 동작으로 옮깁니다. 재학습은 필요하지 않으며, 사전 학습 데이터세트에 없던 작업인 경우도 많죠.
S1은 화분 심기, 팬케이크 만들기, 핸드드립 커피 내리기, 키트 조립처럼 익숙하지 않은 작업을 최대 10분 길이까지 수행할 수 있습니다. 이런 작업은 수십 단계의 조작으로 이어지고, 로봇이 한 번도 해 본 적 없는 순서로 기술을 조합해야 하죠.
화분 심기 테스트에서 Skild AI 팀은 시연을 녹화한 순간부터 하드웨어에서 자율 수행이 이뤄지기까지 단 11분 만에 도달했습니다. 또한 이 모델은 사물이 움직이면 그에 맞춰 조정하고, 오류에서 회복하며, 명시적으로 프로그래밍되지 않은 순서로 기술을 조합할 수도 있습니다.
Skild가 새로운 다단계 작업으로 진행한 테스트에서 S1 로봇은 각 단계를 약 66% 확률로 성공했는데, 비슷한 AI 시스템의 9%와 견주면 7배가 넘는 개선입니다. Skild는 또 로봇에게 짧은 영상 예시 하나를 보여 주는 것이 직접 시연 데이터 약 380건을 주는 것과 맞먹는 효과를 낼 수 있다고 추산합니다. 사람이 그만큼의 예시를 손수 모으려면 50~100시간이 걸리죠.
연구실에서 공장 현장으로
S1은 새로운 변수가 생길 때마다 로봇을 계속 재학습시켜야 하는 굴레를 끊습니다. 변화가 있을 때마다 새 데이터세트나 학습 과정을 만들지 않아도, 작업자가 새 작업을 직접 시연하면 되기 때문이죠. 고객 계약이 허용하는 범위에서는 Skild의 상용 배포에서 쌓인 경험이 모델 전반에 반영돼 이후 배포를 앞당기는 데 보탬이 됩니다.
이런 작업은 이미 공장 현장에서 이뤄지고 있습니다. Skild와 NVIDIA, Foxconn은 NVIDIA Blackwell 시스템의 고정밀 조립을 위해 양팔 매니퓰레이터에 Skild Brain을 배포하고 있는데요. 시연된 워크플로우 하나를 보면, 로봇이 버스바와 리밋 블록을 설치하고 나사 16개를 조인 뒤 다단계 작업 내내 예기치 못한 변화에도 적응합니다. 이 작업에는 정밀한 동작과 접촉 인식 제어, 순서 추적, 그리고 현장이 계획과 달라졌을 때의 회복 능력이 필요합니다.
개발 주기 전반을 관통하는 NVIDIA 기술
NVIDIA 가속 컴퓨팅은 Skild가 시뮬레이션과 사람 영상, 원격 조작, 그리고 허용되는 경우 배포 데이터까지 활용해 공용 로봇 브레인을 학습시킬 수 있는 규모를 제공합니다. NVIDIA Cosmos 개방형 월드 파운데이션 모델은 학습 데이터를 다양화하고 영상을 구조화된 설명으로 바꿔 주며, Cosmos Curator는 데이터를 대규모로 주석 처리하고 선별·정리하도록 돕습니다.
Skild는 실제 배포에 앞서 로봇 브레인을 학습하고 검증하는 데 NVIDIA의 개방형 시뮬레이션 프레임워크를 폭넓게 활용하고 있습니다. NVIDIA Omniverse 라이브러리와 NVIDIA Isaac Sim 프레임워크는 데이터를 생성하고 엣지 케이스를 시험하며 동작을 검증할 수 있는 물리 기반 가상 환경을 제공하죠.
나아가 Skild는 개방형 모듈식 로봇 학습 프레임워크인 Isaac Lab에서 강화 학습을 통해 브레인의 역량을 한층 끌어올리고 있습니다. Newton 물리 엔진으로 구동되는 Isaac Lab은 Skild 엔지니어가 힘과 접촉, 충돌, 압력 같은 다양한 물리 파라미터를 정확하게 모델링하고 시뮬레이션과 현실 사이의 간극을 줄이도록 돕습니다.
Skild와 NVIDIA는 로봇이 고체 물체를 만지고 쥐고 다루는 물리적 과정을 빠르고 정확하게 모델링하는 새로운 GPU 가속 시뮬레이션 솔버도 함께 개발하고 있습니다. 이 솔버는 곧 Newton의 일부로 모든 개발자에게 공개될 예정이죠.
모델이 프로덕션 단계로 넘어가는 시점에는 NVIDIA Nsight 도구가 학습 과정의 성능 병목 지점을 찾도록 도와주고, NVIDIA TensorRT 소프트웨어 개발 키트가 추론을 최적화해 로봇이 현실 세계에서 빠르게 반응할 수 있게 합니다. 이렇게 이들 기술은 데이터와 시뮬레이션, 학습, 배포 단계를 각각 따로 떨어진 시스템으로 두지 않고 하나로 잇습니다.
Skild AI의 S1 연구를 읽어 보고 NVIDIA Isaac 로보틱스 플랫폼도 살펴보세요.