캡제미니(Capgemini)에 따르면, AI 에이전트는 2028년까지 매출 증가와 비용 절감을 통해 최대 4,500억 달러의 가치를 창출할 것으로 예상됩니다. 이러한 에이전트를 개발하는 개발자들은 AI 에이전트 플랫폼과 피지컬 AI 시스템을 개선하기 위해 성능이 더 우수한 추론 모델을 활용하고 있는데요.
SIGGRAPH에서는 추론 기능을 갖춘 2개의 모델 제품군인 NVIDIA Nemotron과 NVIDIA Cosmos의 확장이 발표됐습니다.
업계 선도 기업들은 AI 에이전트와 휴머노이드 로봇을 통해 생산성을 높이는 데 NVIDIA의 확장된 모델 제품군을 활용하고 있죠. 대표적인 기업들로 크라우드스트라이크(CrowdStrike), 우버(Uber), 마그나(Magna), 넷앱(NetApp), 줌(Zoom)이 있습니다.
새로운 NVIDIA Nemotron Nano 2와 Llama Nemotron Super 1.5 모델은 과학적 추론, 수학, 코딩, 툴 호출, 명령어 준수, 채팅 분야에서 해당 크기 범주 내 최고 정확도를 제공합니다. 이 새로운 모델은 AI 에이전트가 더 깊이 생각하고 효율적으로 작업할 수 있도록 지원하죠. 이를 통해 더 폭넓은 옵션을 탐색하고, 연구 속도를 높이며, 설정된 시간 내에서 더 우수한 결과를 제공합니다.
모델은 AI 에이전트의 두뇌와 같습니다. 핵심 지능을 제공하는 것이죠. 하지만 이 두뇌가 비즈니스에 유용하려면 특정 워크플로우뿐 아니라 산업과 비즈니스 용어를 파악하고 안전하게 작동하는 에이전트에 탑재돼야 합니다. NVIDIA는 선도적인 라이브러리와 AI Blueprint를 제공해 기업이 AI 에이전트를 대규모로 도입하고 맞춤화하며 관리할 수 있도록 지원합니다.
Cosmos Reason은 피지컬 AI 애플리케이션을 위해 개발된 새로운 추론 비전 언어 모델(vision language model, VLM)입니다. 이는 구조화된 추론을 통해 물리학, 객체 영속성, 시공간 정렬과 같은 개념을 이해하는 데 탁월하죠.
Cosmos Reason은 로봇 비전언어행동(vision language action, VLA) 모델의 추론 기반 구조로 설계됐으며, 로보틱스와 자율주행 차량을 위한 훈련 데이터의 평가와 캡션 생성에 활용됩니다. 또한, 공장이나 도시와 같은 환경에서 물리적 작업에 대한 시공간 이해와 추론 능력을 런타임 시각 AI 에이전트에 제공하죠.
엔터프라이즈 AI 에이전트 위한 최고 수준의 정확도와 효율성 제공하는 Nemotron
기업들은 복잡한 다단계의 작업에 대응하기 위해 AI 에이전트를 개발하고 있습니다. 이에 따라 강력한 추론 정확도와 효율적인 토큰 생성을 제공하는 모델은 지능적이고 자율적인 의사결정을 대규모로 수행하고 있죠.
NVIDIA Nemotron은 선도적인 모델과 NVIDIA가 선별한 오픈 데이터세트, 그리고 첨단 AI 기술을 활용해 AI 에이전트에 정확하고 효율적인 출발점을 제공하는 고급 오픈 추론 모델 제품군입니다.
최신 Nemotron 모델은 세 가지 방식으로 업계 최고의 효율성을 제공합니다. 새로운 하이브리드 모델 아키텍처, 소형 양자화 모델 그리고 토큰 생성 과정을 개발자가 제어할 수 있는 구성 가능한 사고 예산(thinking budget)이죠. 이를 통해 추론 비용을 약 60% 절감할 수 있습니다. 이 조합은 모델이 더 깊이 추론하고 더 빠르게 응답할 수 있도록 하며, 추가적인 시간이나 컴퓨팅 파워를 요구하지 않는데요. 즉, 더 낮은 비용으로 더 나은 결과를 제공합니다.
Nemotron Nano 2는 동급의 다른 주요 모델 대비 최대 6배 높은 토큰 생성 성능을 제공합니다.
Llama Nemotron Super 1.5는 동급 최고 성능과 가장 높은 추론 정확도를 달성해, AI 에이전트가 더 뛰어난 추론을 수행하고, 더 현명한 결정을 내리며, 복잡한 작업을 독립적으로 처리할 수 있도록 합니다. 현재 NVFP4(4비트 부동소수점) 버전으로 제공되며, NVIDIA B200 GPU에서 NVIDIA H100 GPU 대비 최대 6배 높은 처리량을 제공합니다.
위 도표는 Nemotron 모델이 동일한 시간과 동일한 컴퓨팅 예산 내에서 최고 수준의 추론 정확도를 제공하며, 달러당 최고 정확도를 달성함을 보여줍니다.
두 개의 새로운 Nemotron 모델과 함께 NVIDIA는 첫 번째 오픈 VLM 훈련 데이터세트인 Llama Nemotron VLM 데이터셋 v1도 발표했는데요. 이 데이터세트는 광학 문자 인식, 시각적 질의응답, 캡션 데이터 등 300만 개의 샘플을 포함하며, 이전에 공개된 Llama 3.1 Nemotron Nano VL 8B 모델을 구동하는 데 사용됩니다.
추론 모델의 정확도 외에도, 에이전트는 다양한 소스에 연결된 데이터에서 가장 관련성이 높은 최신 정보를 검색해 의사결정을 내리기 위해 검색 증강 생성(retrieval-augmented generation, RAG)에 의존하는데요. 최근 공개된 Llama 3.2 NeMo Retriever 임베딩 모델은 ViDoRe V1, ViDoRe V2, MTEB 비주얼도큐먼트리트리버(MTEB VisualDocumentRetrieval) 등 세 개의 시각 문서 검색 리더보드에서 모두 1위를 차지하며 에이전트 기반 시스템의 정확도를 향상시키는 데 기여했습니다.
이러한 논리적 추론과 정보 검색 모델을 활용해 AI-Q NVIDIA Blueprint로 구축된 심층 연구 에이전트는 현재 딥리서치 벤치(DeepResearch Bench)에서 개방형과 이동식 에이전트 부문 1위를 차지하고 있습니다.
NVIDIA NeMo와 NVIDIA NIM 마이크로서비스는 개발과 배포부터 에이전트 시스템의 모니터링과 최적화까지 AI 에이전트의 전체 라이프사이클을 지원합니다.
피지컬 AI에 혁신을 가져올 Cosmos Reason
VLM은 컴퓨터 비전과 로보틱스 분야에서 혁신을 가져오며, 기계가 사물과 패턴을 식별할 수 있도록 했죠. 그러나 비추론 VLM은 현실 세계를 이해하고 상호작용하는 능력이 부족합니다. 이는 곧 모호하거나 새로운 상황을 처리하지 못하고, 복잡한 다단계 작업을 해결할 수 없다는 것을 의미하죠.
NVIDIA Cosmos Reason은 피지컬 AI와 로보틱스를 위해 설계된 새로운 개방형 맞춤화 가능 70억 파라미터 추론 VLM입니다. Cosmos Reason은 로봇과 비전 AI 에이전트가 사전 지식, 물리학 이해, 상식을 활용해 실제 인간처럼 물리적 세계를 이해하고 행동할 수 있도록 합니다.
Cosmos Reason은 로보틱스와 피지컬 AI 애플리케이션 전반에 걸쳐 고급 기능을 제공합니다. 여기에는 훈련 데이터 평가와 캡션 생성, 로봇 의사결정, 영상 분석 AI 에이전트 구축 등이 있습니다.
이 모델은 방대하고 다양한 훈련 데이터세트의 큐레이션과 주석 작업을 자동화해 고정밀 AI 모델 개발을 가속화할 수 있습니다. 또한, 새로운 환경에서도 복잡한 지시를 실행 가능한 단계로 해석해 VLA 모델에 전달하는 고급 추론 엔진으로 작동해, 로봇 계획 수립을 지원할 수 있죠.
또한, NVIDIA Metropolis 플랫폼을 기반으로 하는 영상 검색과 요약(video search and summarization, VSS)용 NVIDIA Blueprint를 통해 구축된 영상 분석 AI 에이전트를 구동합니다. 이를 통해 저장된 대규모 또는 실시간 영상 데이터에서 유용한 인사이트를 도출할 수 있죠. 이러한 시각 인식과 상호작용형 AI 에이전트는 공장, 물류창고, 소매점, 공항, 교통 교차로 등에서 이상 현상을 탐지함으로써 운영 효율성을 높이는 데 도움을 줍니다.
NVIDIA 로보틱스 연구팀은 Cosmos Reason을 데이터 필터링과 큐레이션에 이용하고 있습니다. 또한, 차세대 NVIDIA Isaac GR00T NX와 같은 VLA 모델의 ‘System 2’ 추론 VLM으로도 활용하고 있습니다.
AI 에이전트와 로봇을 위해 어디서나 제공되는 NVIDIA 추론 모델
다양한 기업과 컨설팅 선도 기업들이 NVIDIA의 최신 추론 모델을 채택하고 있는데요. 사이버 보안부터 통신 분야까지 다양한 분야의 리더들이 엔터프라이즈 AI 에이전트 구축을 위해 Nemotron을 활용 중입니다.
줌은 줌 AI 컴패니언(Zoom AI Companion)과 Nemotron 추론 모델을 결합해 줌 미팅(Zoom Meetings), 줌 챗(Zoom Chat), 줌 문서 전반에서 사용자를 대신해 의사결정을 내리고 다단계 작업을 관리, 실행할 계획입니다.
크라우드스트라이크는 Nemotron 모델을 테스트해 샬롯(Charlotte) AI 에이전트가 크라우드스트라이크 팔콘(Falcon) 플랫폼에서 쿼리를 작성할 수 있도록 지원하고 있습니다.
암독스(Amdocs)는 어메이즈 스위트(amAIz Suite)에서 NVIDIA Nemotron 모델을 활용해 의료, 판매, 네트워크, 고객 지원 등 복잡한 다단계 자동화를 처리하는 AI 에이전트를 구동하고 있죠.
EY는 높은 처리량을 제공하는 Nemotron Nano 2를 도입해 대규모 조직의 세금, 리스크 관리, 재무 분야에 적용되는 에이전트형 AI를 지원하고 있습니다.
넷앱은 현재 AI 에이전트가 비즈니스 데이터를 검색하고 분석할 수 있도록 Nemotron 추론 모델을 테스트 중입니다.
데이터로봇(DataRobot)은 자사의 에이전트 워크포스 플랫폼(Agent Workforce Platform)에서 엔드-투-엔드 라이프사이클 관리를 위해 Nemotron 모델을 활용하고 있습니다.
탭나인(Tabnine)은 개발자를 대신해 코딩 작업을 제안하고 자동화하기 위해 Nemotron 모델을 활용하고 있죠.
오토메이션애니웨어(Automation Anywhere), 크루AI(CrewAI), 데이터이쿠(Dataiku) 등도 Nemotron 모델을 자사 플랫폼에 통합하는 에이전트형 AI 소프트웨어 개발사 중 일부입니다.
그리고 운송, 안전, AI 인텔리전스 분야를 선도하는 기업들은 Cosmos Reason을 활용해 자율 주행, 영상 분석, 도로와 작업장 안전을 발전시키고 있습니다.
우버는 자율주행 차량의 행동을 분석하기 위해 Cosmos Reason을 활용 중인데요. Cosmos Reason을 사후 훈련(post-training)해 시각적 데이터를 요약하고, 보행자가 고속도로를 건너는 상황과 같은 시나리오를 분석해 품질 분석을 수행하며 자율주행 차량의 행동을 개선하고 있죠.
Cosmos Reason은 자율주행 차량의 두뇌 역할을 할 수 있습니다. 로봇이 주변 환경을 해석하고, 복잡한 명령을 받아 이를 작업으로 세분화해 상식적인 판단을 바탕으로 실행할 수 있도록 하죠. 익숙하지 않은 환경에서도 가능합니다.
센티픽(Centific)은 AI 기반 비디오 인텔리전스 플랫폼을 강화하기 위해 Cosmos Reason을 테스트를 하고 있습니다. 이 VLM은 플랫폼이 복잡한 영상 데이터를 실행 가능한 인사이트로 처리해 허위 경보를 줄이고 의사결정 효율성을 높이는 데 도움을 줍니다.
바스트(VAST)는 NVIDIA Cosmos Reason과 자사의 AI 운영 체제를 결합해 대규모 영상 스트림을 실시간으로 처리하는 도시 인텔리전스 기술을 개발하고 있죠. VSS Blueprint를 통해 바스트는 사건을 식별하고 대응하는 에이전트를 구축할 수 있으며, 이를 통해 영상 스트림과 메타데이터를 실행 가능하고 선제적 공공 안전 도구로 전환할 수 있습니다.
앰비언트.에이아이(Ambient.ai)는 Cosmos Reason의 시간적, 물리적 요소를 고려한 추론 기술을 활용해 개인 보호 장비 미착용을 자동으로 감지하고, 위험한 환경을 모니터링하는 기능을 구현하고 있습니다. 건설, 제조, 물류 등 산업 현장에서 환경 보건과 안전을 강화하는 데 기여하죠.
마그나는 자사의 완전 자율주행, 저비용 즉시 배송 솔루션인 시티 딜리버리 플랫폼(City Delivery Platform) 개발에 Cosmos Reason을 적용해 차량이 새로운 도시 환경에 더 빠르게 적응할 수 있도록 지원합니다. 해당 모델은 차량의 장기 경로 계획에 월드 이해(world understanding) 기능을 추가합니다.
이 모델들은 NVIDIA NIM 마이크로서비스로 제공돼, NVIDIA 가속 인프라 어디서든 안전하고 신뢰성 있게 배포할 수 있으며, 높은 수준의 개인정보 보호와 제어 권한을 보장합니다. 이 모델들은 곧 아마존 베드록(Amazon Bedrock)과 아마존 세이지메이커 AI(Amazon SageMaker AI)를 통해 Nemotron 모델로, 애저 AI 파운드리(Azure AI Foundry), 오라클 데이터 사이언스 플랫폼(Oracle Data Science Platform), 구글 버텍스 AI(Google Vertex AI)를 통해 제공될 예정입니다.
Cosmos Reason을 build.nvidia.com에서 사용해 보거나 허깅페이스(Hugging Face) 또는 깃허브(GitHub)에서 다운로드하세요.
Nemotron Nano 2와 Llama Nemotron Super 1.5(NVFP4)는 곧 다운로할 수 있으며, Nemotron 모델에 대해 더 자세히 알아보고, 이전 버전을 다운로드하세요.
허깅페이스에서 라마 Nemotron VLM 데이터세트 v1을 다운로드할 수 있습니다.
SIGGRAPH에서 진행된 NVIDIA Research 스페셜 발표를 확인하세요.
소프트웨어 제품 정보에 대한 공지사항을 확인할 수 있습니다.