대규모 오픈소스 피지컬 AI 스킬과 도구 모음이 공개됐습니다. 이를 통해 개발자는 복잡한 로보틱스, 자율주행 자동차, 비전 AI, 산업용 디지털 트윈 워크플로우를 에이전트가 바로 실행할 수 있는 작업으로 전환할 수 있죠. 또한 대규모 피지컬 AI 워크플로우 구축에 필요한 비용, 시간, 복잡성을 크게 줄일 수 있습니다.
AI 에이전트는 단순히 코드를 작성하는 수준을 넘어 개발 작업 전반을 조율하는 단계로 진화하고 있습니다. 이 흐름 속에서 피지컬 AI가 핵심 분야로 부상하고 있는데요. NVIDIA 에이전트 툴킷의 일부로 제공되는 NVIDIA 피지컬 AI 스킬은 에이전트가 NVIDIA 라이브러리, 모델, 프레임워크를 활용해 로봇, 자율주행 자동차, 공장, 연구실 전반의 데이터 생성, 시뮬레이션, 훈련, 평가, 배포 파이프라인을 가속하도록 지원합니다.
NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “AI 에이전트가 소프트웨어 개발에 혁신을 가져오고 있습니다. 이제 이러한 변화는 피지컬 AI로 확장돼, 교통, 제조, 의료, 로보틱스를 혁신할 새로운 시스템으로 이어지고 있습니다. 에이전트가 NVIDIA 라이브러리, 모델, 프레임워크를 직접 활용할 수 있게 되면서 피지컬 AI 개발은 더욱 가속화될 것입니다. 이에 따라 개발자들은 차세대 로봇, 자율주행 자동차, 산업용 시스템을 이전보다 훨씬 빠르게 구축할 수 있게 됩니다”라고 말했습니다.
피지컬 AI 개발에 최적화된 에이전트 도구와 스킬
라이브러리, 모델, 프레임워크를 에이전트가 직접 호출해 사용할 수 있는 도구로 전환함으로써, 피지컬 AI 스택 전반이 에이전트 중심으로 최적화되고 있습니다. 여기에는 물리적 세계의 추론과 생성을 위한 NVIDIA Cosmos™ 월드 파운데이션 모델, 시뮬레이션과 디지털 트윈을 위한 NVIDIA Omniverse™ 라이브러리, 로보틱스 시뮬레이션과 로봇 학습을 위한 NVIDIA Isaac™, 비전 AI를 위한 NVIDIA Metropolis, 자율주행을 위한 NVIDIA Alpamayo, 엣지 AI 개발을 위한 NVIDIA Jetson™ 플랫폼 등이 포함됩니다.
개발자들의 도구 활용을 지원하기 위해, NVIDIA 에이전트 툴킷의 일부로 새로운 스킬도 출시됐습니다. 이를 통해 피지컬 AI 개발 프로세스를 코딩 에이전트가 따라 수행할 수 있는 반복 가능한 지침으로 전환할 수 있죠. 여기에는 호출해야 할 도구, 생성해야 할 출력 결과, 개발자가 결과를 검증하는 방법 등이 있습니다.
또한 개발자는 이 스킬들을 NVIDIA NemoClaw™ 블루프린트, NVIDIA OpenShell™ 런타임과 결합해 자율 에이전트를 안전하게 구축하고 배포할 수 있는데요. 해당 시스템은 로컬, 클라우드 환경에서 정책 기반의 보안과 개인정보 보호 거버넌스를 제공합니다.
NVIDIA의 피지컬 AI 스킬과 도구는 다음의 분야에서 에이전틱 개발을 가속하고 있습니다:
- 로보틱스, 엣지 AI: 로봇 개발자는 스킬을 활용해 인식과 이동성 훈련 데이터 생성을 비롯한 시뮬레이션, 내비게이션 훈련 자동화, 로봇 학습 고도화, 배포를 위한 Jetson 기반 엣지 시스템 최적화 등 로보틱스 개발 파이프라인 전반을 가속할 수 있습니다.
- 자율주행 자동차: 자율주행 자동차 개발자의 경우, 기술은 에이전트가 차량에서 수집한 데이터를 가상 시뮬레이션 환경으로 재구성하고, 실제와 유사한 주행 시나리오를 대규모로 생성할 수 있습니다. 또한 폐쇄 루프 강화 학습을 실행함으로써 훈련과 평가 범위를 크게 확장할 수 있습니다.
- 실시간 비전 AI 에이전트: 자동 검사와 비디오 인텔리전스 분야에서 에이전트 스킬은 합성 훈련 데이터 생성과 모델 파인튜닝에 활용될 수 있습니다. 또한 데이터 라벨링을 자동화하고, 실시간 또는 녹화 비디오를 검색, 요약, 분석하는 비디오 AI 에이전트 구축에도 활용 가능합니다.
- 산업용 AI: 산업용 소프트웨어 개발자는 스킬을 활용해 엔지니어링 데이터를 디지털 트윈 시뮬레이션용 컴퓨터 지원 설계(computer-aided design, CAD) 에셋으로 쉽게 변환할 수 있습니다. 동시에 수작업 설정 작업을 최소화해 대규모 오픈USD(Universal Scene Description, OpenUSD) 장면을 효율적으로 최적화할 수 있죠.
- 의료: 의료 기관은 임상 환경에 자동화를 도입하기 전에 에이전트를 활용해 병원 환경의 디지털 트윈을 구축하고, 시뮬레이션 투 리얼(sim-to-real) 데이터 생성과 소프트웨어 인 더 루프(software-in-the-loop, SIL) 정책 테스트를 수행할 수 있습니다.
이러한 스킬은 서로 결합되며 더 큰 규모의 에이전틱 시스템에 통합될 수 있는데요. 이를 통해 개발자는 데이터 생성, 시뮬레이션, 최적화, 추론 튜닝, 지속적 평가 등 복잡한 워크플로우 전반을 조정하고 자동화할 수 있습니다.
글로벌 선도기업, NVIDIA 피지컬 AI 기술 도입
제조, 자율주행 자동차, 의료, 산업용 소프트웨어 등 전 산업 분야의 선도기업은 NVIDIA 피지컬 AI 라이브러리를 활용해 자율 시스템과 산업용 AI 개발을 고도화하고 있습니다.
이들 라이브러리가 에이전트 활용에 최적화됨에 따라, 개발자는 NVIDIA 스킬을 활용해 복잡한 피지컬 AI 워크플로우 전반의 설정, 실행, 반복 작업을 에이전트가 자동화하도록 지원할 수 있죠.
전자 제조 분야에서 TSMC와 페가트론(Pegatron)은 시각 검사 모델을 파인튜닝하고 있습니다. 페가트론은 결함 이미지 생성(Defect Image Generation) 스킬로 생성한 합성 데이터를 활용해 AI 모델 훈련과 배포 시간을 기존 대비 67% 단축했습니다.
델타 일렉트로닉스(Delta Electronics)는 스킬을 활용해 합성 결함 데이터를 생성했습니다. 금속 버스바(busbar)의 과도한 납땜 불량을 잡아냄으로써 불량 검출률을 17% 향상시켰죠. 인벤텍(Inventec)은 결함 이미지 생성 스킬을 통합한 시각 검사 파이프라인 관찰 에이전트(Observation Agent)를 개발해, 노트북 섀시 제조 공정 결함 데이터 수집에 소요되는 부담을 30% 줄였습니다. 딥하우(DeepHow)와 협력하고 있는 폭스콘은 스킬을 활용해 제조 초기 단계에서 오류를 탐지함으로써 효율을 극대화하고, 초도 수율을 약 3% 향상시켰습니다.
자율주행 자동차 분야에서 리오토(Li Auto), 아파리(Afari), 딥루트.ai(DeepRoute.ai)는 NVIDIA Omniverse NuRec 모델을 활용해 뉴럴 장면 재구성과 렌더링을 수행하고 있습니다. 이들 기업은 하루 1,000건 이상의 재구성과 30만 건 이상의 렌더링, 시뮬레이션을 생성하고 있으며, 새로운 에이전트 스킬 리포지토리를 활용해 보다 안전하고 고도화된 자율주행 시스템 개발을 가속하고 있죠.
산업용 AI 분야에서 케이던스(Cadence), 다쏘시스템(Dassault Systèmes), 지멘스(Siemens), 시높시스(Synopsys)는 NVIDIA Omniverse 라이브러리와 기술을 활용해 엔지니어링 데이터 검사, 시뮬레이션, 인터랙티브 디지털 트윈을 구현하고 있습니다. 또한 PTC, 멧AI(MetAI), 라이트휠(Lightwheel)은 NVIDIA Isaac Sim™ 프레임워크와 OpenUSD 기반 워크플로우를 활용해 CAD 데이터를 시뮬레이션 가능한 에셋과 환경으로 전환하고 있죠. 한편 SK하이닉스(SK hynix)는 ‘자율형 팹 2030(Autonomous Fab 2030)’ 로드맵의 일환으로 NVIDIA Omniverse 기반 반도체 팹 디지털 트윈을 구축하고 있습니다. 또한 NVIDIA, SK텔레콤(SK Telecom)과 협력해 제조 특화 피지컬 AI를 위한 NVIDIA 에이전트 툴킷 검증을 진행하고 있습니다.
1x, 애자일 로봇(Agile Robots), 어질리티(Agility), 필드AI(FieldAI), 헥사곤 로보틱스(Hexagon Robotics), 뉴라 로보틱스(NEURA Robotics), 스킬드 AI(Skild AI), 유니버설 로봇(Universal Robots) 등 글로벌 로보틱스 선도기업들은 데이터 생성부터 배포에 이르기까지, 로보틱스 개발의 모든 과정을 가속화하는 데 NVIDIA의 에이전트 최적화 피지컬 AI 스택을 활용하고 있습니다.
폭스콘과 컴팔(Compal)은 헬스케어용 NVIDIA Isaac을 활용해 병원 로보틱스 분야의 개발을 가속하고 있습니다. 폭스콘은 환자 진료에 AI 기반 로보틱스를 적용하기 위해 누라봇(Nurabot)을 여러 병원과 장기 요양 시설로 확대 보급하고 있죠. 또한 수술실 워크플로우 최적화를 위해 스크럽 간호 협동 로봇(Scrub Nurse Collaborative Robot)을 새롭게 선보였습니다. 컴팔은 폴리메드X(PolyMedX) 로봇 개발을 고도화하며, 시뮬레이션, AI, 실제 의료 현장 운영이 통합된 병원 전반의 종합 플랫폼으로 발전시키고 있습니다.
사용 정보
NVIDIA 피지컬 AI 에이전트 도구와 스킬은 현재 깃허브(GitHub)와 스킬스.sh(skills.sh)를 통해 이용 가능하며, 모든 코딩 에이전트에서 사용할 수 있습니다.
Neural Reconstruction, Video Augmentation, 결함 이미지 생성 등 합성 데이터 생성을 위한 에이전트 스킬과 도구는 NVIDIA Brev에서 Physical AI Launchables로 즉시 체험할 수 있습니다. Physical AI Launchables는 에이전트 스킬과 도구를 사전 구성된 환경으로 제공해 합성 데이터 생성과 평가를 더욱 빠르게 수행할 수 있도록 지원합니다.
마이크로소프트(Microsoft), 코어위브(CoreWeave), 네비우스(Nebius)는 이러한 에이전트 스킬과 도구를 자사 클라우드 서비스에 통합해 개발자가 합성 데이터 생성과 배포를 보다 효율적으로 수행하고 확장할 수 있도록 지원하고 있습니다.
NVIDIA 창립자 겸 CEO 젠슨 황의 키노트를 시청하고, NVIDIA GTC Taipei와 피지컬 AI 관련 세션에 대해 자세히 알아보세요.