AI 에이전트의 정확성, 적시성, 관련성은 이것을 구동하는 데이터에 달려 있습니다.
이번에 정식 출시된 NVIDIA NeMo 마이크로서비스는 기업 IT 부서가 데이터 플라이휠(flywheel)을 활용해 직원 생산성을 높일 수 있는 AI 팀원을 빠르게 구축하도록 지원합니다. 이 마이크로서비스는 엔드 투 엔드 개발자 플랫폼을 제공합니다. 이 플랫폼은 최첨단 에이전틱 AI(Agentic AI) 시스템의 개발을 가능하게 하고, 추론 결과, 비즈니스 데이터, 사용자 선호도에 기반한 데이터 플라이휠을 통해 지속적인 최적화를 지원합니다.
데이터 플라이휠을 통해 기업 IT 부서는 AI 에이전트를 디지털 팀원으로 온보딩할 수 있습니다. 이러한 에이전트는 사용자 상호작용과 AI 추론 과정에서 생성된 데이터를 활용해 모델 성능을 지속적으로 개선할 수 있죠. 이를 통해 ‘사용’을 ‘인사이트’로, ‘인사이트’를 ‘실행’으로 전환할 수 있습니다.
에이전틱 AI를 위한 강력한 데이터 플라이휠 구축
데이터베이스, 사용자 상호작용, 현실 세계의 신호 등 고품질 입력이 지속적으로 제공되지 않으면 에이전트의 이해력은 약화됩니다. 그 결과, 응답의 신뢰성은 떨어지고 에이전트의 생산성도 저하될 수 있죠.
운영 환경에서 AI 에이전트를 구동하는 모델을 유지하고 개선하기 위해서는 세 가지 유형의 데이터가 필요합니다. 바로 인사이트를 수집하고 변화하는 데이터 패턴에 적응하기 위한 추론 데이터, 인텔리전스를 제공하기 위한 최신 비즈니스 데이터, 모델과 애플리케이션이 예상대로 작동하는지를 판단하기 위한 사용자 피드백 데이터입니다. NeMo 마이크로서비스는 개발자가 이 세 가지 유형의 데이터를 효율적으로 활용할 수 있도록 지원합니다.
또한, NeMo 마이크로서비스는 에이전트를 구동하는 모델을 선별하고, 맞춤화하며, 평가하고, 안전장치를 적용하는 데 필요한 엔드 투 엔드 툴을 제공함으로써 AI 에이전트 개발 속도를 높입니다.
NVIDIA NeMo 마이크로서비스는 NeMo Customizer, NeMo Evaluator, NeMo Guardrails을 포함합니다. 이는 NeMo Retreiver, NeMo Curator와 함께 사용돼, 맞춤형 엔터프라이즈 데이터 플라이휠을 통해 AI 에이전트를 구축하고, 최적화하며, 확장하는 과정을 기업이 보다 수월하게 수행할 수 있도록 지원합니다.
- NeMo Customizer는 거대 언어 모델(LLM) 미세 조정을 가속화해 최대8배 높은 훈련 처리량을 제공합니다. 이 고성능 마이크로서비스는 확장성이 뛰어나며, 지도 학습 미세 조정(supervised fine-tuning, SFT)과 LoRA(Low-Rank Adaptation) 등 널리 사용되는 사후 훈련 기술을 사용하죠.
- NeMo Evaluator는 개인과 산업 벤치마크에서 AI 모델과 워크플로우의 평가를 단 5번의 API 호출로 간소화합니다.
- NeMo Guardrails는 단5초의 추가 지연 시간만으로 규정 준수 보호 기능을 최대 1.4배까지 향상시킵니다. 이를 통해 조직은 정책과 지침에 부합하는 강력한 안전, 보안 조치를 구현할 수 있습니다.
개발자는 NeMo 마이크로서비스를 통해 AI 에이전트의 정확성과 효율성을 높이는 데이터 플라이휠을 구축할 수 있습니다. NVIDIA AI Enterprise 소프트웨어 플랫폼을 통해 배포되는 NeMo 마이크로서비스는 온프레미스 또는 클라우드의 모든 가속 컴퓨팅 인프라에서 엔터프라이즈급 보안, 안정성, 지원과 함께 손쉽게 운영할 수 있습니다.
이 마이크로서비스는 기업들이 수백 개의 전문화된 에이전트를 협업시키는 대규모 멀티 에이전트 시스템을 구축하고 있으며, 정식 출시됐습니다. 각 에이전트는 고유의 목표와 워크플로우를 가지고 있고, 디지털 팀원으로서 복잡한 업무를 함께 해결하며 직원들의 업무를 보조하고, 강화하며, 가속화합니다.
이러한 기업 전반의 영향력은 AI 에이전트를 1조 달러 규모의 기회로 자리매김하게 합니다. 적용 사례는 자동 사기 탐지, 쇼핑 도우미, 예측 기반 설비 유지보수, 문서 검토 등 다양하죠. 또한, 비즈니스 데이터를 실행 가능한 인사이트로 전환하는 데 있어 데이터 플라이휠이 얼마나 중요한 역할을 하는지 다시 한번 강조합니다.
NeMo 마이크로서비스로 AI 에이전트의 정확도를 높이는 업계 선도 기업
NVIDIA 파트너사들과 업계 선도 기업들은 디지털 팀원이 더 많은 업무를 수행할 수 있도록 반응형 AI 플랫폼을 구축하기 위해 NeMo 마이크로서비스를 사용하고 있습니다.
AT&T는 아리즈(Arize), 퀀티파이(Quantiphi)와 협력해 약 1만 건의 문서로 구성된 지식 베이스를 매주 업데이트하며 처리할 수 있는 고급 AI 기반 에이전트를 구축했는데요. 이때 NVIDIA NeMo를 사용했습니다. 이 확장 가능한 고성능 AI 에이전트는 속도, 비용 효율성, 정확성이라는 세 가지 핵심 비즈니스 우선순위에 맞게 미세 조정됐고, 이는 AI 도입이 확대됨에 따라 점점 더 중요해지고 있습니다.
AT&T는 개인화된 서비스 제공, 사기 방지, 네트워크 성능 최적화를 위해 미스트랄(Mistral) 7B 모델을 미세 조정했습니다. 여기에는 NeMo 커스터마이저와 이밸류에이터가 활용됐으며, 이를 통해 AI 에이전트의 정확도는 최대 40%까지 향상됐습니다.
블랙록(BlackRock)은 공통 데이터 언어를 통해 투자 관리 프로세스를 통합하는 자사의 알라딘(Aladdin) 기술 플랫폼에 에이전틱 AI 기능을 더하기 위해 NeMo 마이크로서비스를 활용합니다.
갈릴레오(Galileo)와 협력한 시스코(Cisco)의 아웃시프트(Outshift) 팀은 도구 선택 오류를 최대 40% 줄이고 최대 10배 빠른 응답 시간을 달성하는 코딩 어시스턴트를 구동하기 위해 NVIDIA NeMo 마이크로서비스를 사용하고 있습니다.
나스닥(Nasdaq)은 NeMo Retriever 마이크로서비스와 NVIDIA NIM 마이크로서비스로 나스닥 젠 AI 플랫폼(Gen AI Platform)을 가속화하고 있습니다. NeMo Retriever는 플랫폼의 검색 기능을 향상시켜 정확도와 응답 시간을 최대 30%까지 개선하는 동시에 비용을 절감했습니다.
NeMo 마이크로서비스를 위한 폭넓은 모델과 파트너 생태계 지원
NeMo 마이크로서비스는 라마(Llama), 마이크로소프트 파이(Microsoft Phi) 소형 언어 모델 제품군, 구글 젬마(Google Gemma), 미스트랄 등 폭넓은 인기 오픈 모델을 지원합니다. 이 중에는 과학적 추론, 코딩, 복잡한 수학 벤치마크에서 현재 최고의 성능을 보이는 오픈 모델인 라마 Nemotron Ultra도 포함됩니다.
메타(Meta)는 메타 라마스택(Llamastack)을 위한 새로운 커넥터를 통해 NVIDIA NeMo 마이크로서비스를 활용했습니다. 사용자는 API를 통해 커스터마이저, 이밸류에이터, 가드레일을 포함한 동일한 기능에 접근할 수 있으며, 이를 통해 자체 환경 내에서 에이전트 구축 워크플로우의 전 과정을 실행할 수 있습니다.
메타의 생성형 AI 소프트웨어 엔지니어 라고담 머시(Raghotham Murthy)는 “에이전트 개발자는 라마스택 통합을 통해 NeMo 마이크로서비스로 구동되는 데이터 플라이휠을 구현할 수 있습니다. 이를 통해 지속적으로 모델을 최적화해 정확도를 개선하고, 효율성을 높이며, 총소유비용(TCO)을 절감할 수 있죠”라고 말했습니다.
클라우데라(Cloudera), 데이터독(Datadog), 데이터이쿠(Dataiku), 데이터로봇(DataRobot), 데이터스택스(DataStax), 슈퍼 어노테잇(SuperAnnotate), 웨이츠 앤 바이어시스(Weights & Biases) 등 선도적인 AI 소프트웨어 제공업체들이 NeMo 마이크로서비스를 자사 플랫폼에 통합했습니다. 개발자는 크루AI(CrewAI), 딥셋(deepset)의 헤이스택(Haystack), 랭체인(LangChain), 라마인덱스(LlamaIndex), 라마스택 등 인기 있는 AI 프레임워크에서 NeMo 마이크로서비스를 사용할 수 있습니다.
기업은 DDN, 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), 히타치 밴타라(Hitachi Vantara), IBM, 넷앱(NetApp), 뉴타닉스(Nutanix), 퓨어스토리지(Pure Storage), 바스트 데이터(VAST Data), 웨카(WEKA) 등 NVIDIA 인증 스토리지(NVIDIA-Certified Storage) 파트너의 NVIDIA AI 데이터 플랫폼(AI Data Platform) 제품을 사용해 NeMo 리트리버 마이크로서비스로 데이터 플라이휠을 구축할 수 있습니다.
암독스(Amdocs), 케이던스(Cadence), 코히시티(Cohesity), SAP, 서비스나우(ServiceNow), 시놉시스(Synopsys)를 비롯한 선도적 엔터프라이즈 플랫폼에서 AI 에이전트 솔루션에 NeMo 리트리버 마이크로서비스를 사용하고 있습니다.
또한, 기업은 NVIDIA 가속 인프라, 네트워킹, 그리고 시스코, 델, HPE, 레노버(Lenovo) 등 주요 시스템 제공업체의 소프트웨어를 기반으로 AI 에이전트를 실행할 수 있습니다.
액센츄어(Accenture), 딜로이트(Deloitte), EY를 비롯한 거대 컨설팅 기업들 역시 NeMo 마이크로서비스를 기반으로 기업용 AI 에이전트 플랫폼을 구축하고 있습니다.
개발자는 NVIDIA NGC 카탈로그에서 NeMo 마이크로서비스를 다운로드할 수 있습니다. 해당 마이크로서비스는 API 안정성, 사전 보안 조치, 엔터프라이즈급 지원을 제공하는 장기 지원 소프트웨어 브랜치를 갖춘 NVIDIA AI 엔터프라이즈에 포함돼 배포할 수 있습니다.