에이전트는 보유한 지식에 따라 유용성이 달라지며, 어떤 경계 안에서 작동하는지에 따라 신뢰성이 결정됩니다.
글로벌 선도 기업들은 새로운 도구와 기능이 추가된 오픈소스 NVIDIA 에이전트 툴킷을 활용해 에이전트를 맞춤화하고 제어하고 있습니다. 또한 기업 데이터를 활용해 에이전트의 답변과 행동을 결정하고, 에이전트의 활동을 모니터링하며, 운영 방식을 관리하죠.
NVIDIA 에이전트 툴킷은 다음과 같이 구성됩니다.
- NVIDIA CUDA-X 라이브러리를 포함한 새로운 NVIDIA 에이전트 지식 파운데이션
- Nemotron Retriever 및 새로운 Kumo 제품군을 포함한 NVIDIA 오픈 모델
- NVIDIA OpenShell 보안 에이전트 런타임
- NVIDIA NemoClaw 보안 에이전트 블루프린트
- NeMo Relay 및 NeMo Compass 등의 도구와 기능
실제 업무를 수행하면서 개발부터 배포까지 신뢰할 수 있는 에이전트를 개발하기 위해 개발자들은 모델, 하네스, 런타임, 데이터, 도구를 통합하는 개방형 에이전트 스택이 필요합니다.
NVIDIA 에이전트 지식 파운데이션은 데이터를 에이전트가 활용할 수 있는 기업 인텔리전스로 전환하도록 지원합니다. 이를 통해 에이전트는 관련 정보를 검색하고, 해당 정보가 비즈니스에 갖는 의미를 파악하며, 이를 바탕으로 결과를 예측하고 다음 조치를 결정할 수 있도록 지원합니다. 기업은 데이터를 이동하거나, 기존 워크플로우를 다시 구축하거나, 거버넌스 제어 방식을 변경하지 않고도 에이전트 지식 파운데이션을 사용할 수 있습니다.
에이전트 지식 파운데이션은 cuDF, cuGraph, cuML, cuOpt, cuVS를 포함한 NVIDIA CUDA-X 라이브러리와 새로운 Auto-Ontology 라이브러리를 제공합니다. Auto-Ontology는 기업의 원시 데이터를 고객, 제품, 주문 등 익숙한 비즈니스 개념으로 변환하고, 이들 간의 관계를 매핑합니다.
또한 NVIDIA Nemotron Retriever와 Kumo Structured 오픈 모델도 포함합니다. Kumo Structured는 Kumo Tabular, Kumo Relational, Kumo Time Series, Kumo Forecast로 구성되며, 에이전트가 질문에 답변하고 예측을 수행하는 데 필요한 관련 기업 정보를 찾을 수 있도록 지원합니다.
OpenShell은 안전한 런타임 경계를 제공해 기업이 에이전트가 접근할 수 있는 자원과 수행할 수 있는 작업을 제어하도록 합니다. NVIDIA NemoClaw 블루프린트는 안전하고 특화된 에이전트 구축을 위한 레퍼런스 디자인을 제공하는데요. 에이전트 최적화를 위한 최신 NemoClaw 블루프린트는 에이전트 인텔리전스를 지속적으로 개선할 수 있도록 단계별 개발 기반을 제공해, 시간이 지날수록 에이전트가 업무를 더 잘 수행하도록 지원합니다.
기업 도입이 확대되고 있는 NVIDIA 에이전트 지식 파운데이션
새로운 NVIDIA 에이전트 지식 파운데이션은 이미 다양한 기업에서 활용되고 있습니다.
NVIDIA의 공급망 조직은 Palantir와 협력해 Palantir Foundry, Ontology, AIP를 통해 에이전트 지식 파운데이션을 활용하고 있습니다. 이를 기반으로 특화된 에이전트를 배포하고, 독점 데이터에서 실행 가능한 인텔리전스를 생성하며, 결과를 예측하고, 의사결정을 최적화하고 있죠.
Databricks는 NVIDIA Kumo Anomaly와 Databricks Genie Ontology를 결합해 맥락을 이해하는 에이전트를 구현하고 있습니다.
Snowflake는 고객이 Snowflake 노트북 환경에서 NVIDIA Kumo Engine 및 Kumo Relational 오픈 모델을 활용해 보다 강력한 예측 기능을 사용할 수 있도록 지원하고 있습니다.
NVIDIA Nemotron Retriever 모델은 검색 속도와 정확도를 향상시킵니다. Amazon OpenSearch 서비스는 임베딩 모델을 활용해 검색 단계를 줄이면서도 지연 시간 증가를 거의 발생시키지 않고 검색 관련성을 개선했죠. SAP의 파인튜닝된 reranker는 약 3배 빠르게 실행됐습니다. ServiceNow는 리랭킹 품질을 개선하는 동시에 지연 시간을 약 25% 단축했습니다. Zoom은 Nemotron Retriever 모델을 활용해 Zoom AI 서비스의 문서 이해도, 검색 관련성, 문맥 검색 기능을 향상시키고 있습니다.
이 외에도 AWS(Amazon Web Services), ClickHouse, Cloudera, Cohesity, Dassault Systèmes, Dell, Elastic, Exa, IBM, NetApp, Oracle, Perplexity, Starburst, VAST Data 등이 에이전트 지식 파운데이션을 기반으로 솔루션 개발을 진행하고 있습니다.
자세한 내용은 GTC 베를린에서 진행되는 전문 에이전트의 실제 운영 환경 구축, 배포, 최적화 세션에서 확인할 수 있습니다.