NVIDIA는 추론 기능을 갖춘 개방형 NVIDIA Llama Nemotron 모델 제품군을 발표했습니다. 이 제품군은 개발자와 기업이 비즈니스에 즉시 활용할 수 있는 기반을 제공해, 개인 또는 팀으로 복잡한 작업을 해결할 수 있는 고급 AI 에이전트를 구축할 수 있는 기능을 갖추고 있습니다.
라마 모델을 기반으로 구축된 NVIDIA Llama Nemotron 추론 제품군은 온디맨드 AI 추론 기능을 제공합니다. NVIDIA는 사후 훈련 과정을 통해 이 제품군을 개선하며, 다단계 수학, 코딩, 추론, 복잡한 의사 결정 능력 등을 향상시켰습니다.
이렇게 개선된 프로세스는 기본 모델에 비해 모델의 정확도를 최대 20%까지 높이고, 다른 주요 개방형 추론 모델에 비해 추론 속도를 5배 최적화합니다. 여기서 추론 성능 향상이란, 모델이 더 복잡한 추론 작업을 처리하고, 의사 결정 능력을 향상시키며, 기업의 운영 비용을 절감할 수 있음을 의미합니다.
액센츄어(Accenture), 암독스(Amdocs), 아틀라시안(Atlassian), 박스(Box), 케이던스(Cadence), 크라우드스트라이크(Crowdstrike), 딜로이트(Deloitte), 아이큐비아(IQVIA), 마이크로소프트(Microsoft), SAP, 서비스나우(ServiceNow) 등 에이전트 AI 플랫폼 선구 기업들이 새로운 추론 모델과 소프트웨어를 위해 엔비디아와 협력하고 있습니다.
NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “추론과 에이전틱 AI의 도입은 매우 놀라운 일입니다. NVIDIA의 개방형 추론 모델, 소프트웨어, 도구는 개발자와 기업들이 가속화된 에이전틱 AI 인력을 구축할 수 있는 기초 자료를 제공합니다”고 말했습니다.
엔터프라이즈 추론의 정확성과 신뢰성을 향상시키는 NVIDIA 사후 훈련
Llama Nemotron 모델 제품군은 실제 운영 환경에서 바로 사용할 수 있는 AI 추론을 제공하도록 구축됐습니다. 이는 Nano, Super, Ultra 크기의 NVIDIA NIM™ 마이크로서비스로 제공되며, 다양한 배포 요구사항에 각각 최적화돼 있습니다.
Nano 모델은 PC와 엣지 디바이스에서 최고의 정확도를 제공하고, Super 모델은 단일 GPU에서 최고의 정확도와 최고의 처리량을 제공합니다. Ultra 모델은 다중 GPU 서버에서 작업을 수행할 때 최상의 정확도를 제공할 예정입니다.
NVIDIA는 Nemotron과 다른 개방형 모델에서 생성된 고품질 큐레이션 합성 데이터와 NVIDIA가 공동 제작한 추가 큐레이션 데이터 세트를 사용해 NVIDIA DGX™ Cloud에서 광범위한 사후 훈련을 수행했습니다.
모델 개발에 사용된 도구, 데이터 세트, 사후 훈련 최적화 기술은 누구나 사용 가능하므로 기업은 자체 맞춤형 추론 모델을 자유롭게 구축할 수 있습니다.
에이전틱 플랫폼, NVIDIA와 협력해 산업 추론 능력 강화
에이전틱 AI(Agentic AI) 플랫폼 업계 선두 주자들은 Llama Nemotron 추론 모델을 이용해 기업에 고급 추론을 제공하고 있습니다.
마이크로소프트는 Llama Nemotron 추론 모델과 NIM 마이크로서비스를 마이크로소프트 애저 AI 파운드리(Azure AI Foundry) 플랫폼에 추가하고 있는데요. 애저 AI 파운드리 모델 카탈로그를 확장해 고객이 마이크로소프트 365용 애저 AI 에이전트 서비스(Azure AI Agent Service) 등과 같은 서비스를 강화할 수 있는 선택지를 제공합니다.
SAP는 Llama Nemotron 모델을 활용해 SAP 비즈니스 AI 솔루션(SAP Business AI solutions)과 SAP의 AI 코파일럿 줄(Joule)을 발전시키고 있습니다. 또한, SAP ABAP 프로그래밍 언어 모델의 코드 완성 정확도를 높이기 위해 NVIDIA NIM과 NVIDIA NeMo 마이크로서비스를 사용하고 있죠.
SAP의 AI 글로벌 책임자인 월터 선(Walter Sun)은 “우리는 NVIDIA와 협력해 Llama Nemotron 추론 모델을 줄에 통합해 AI 에이전트를 개선하고 있다. 이를 통해 보다 직관적이고 정확하며 비용 효율적인 AI를 만들고 있죠. 이러한 고급 추론 모델은 사용자 쿼리를 정제하고 재작성해 AI가 문의를 더 잘 이해하고, 비즈니스 혁신을 이끄는 더 스마트하고 효율적인 AI 기반 경험을 제공할 수 있도록 합니다”고 설명했습니다.
서비스나우는 Llama Nemotron 모델을 활용해 더 뛰어난 성능과 정확성을 제공하는 AI 에이전트를 구축하면서 산업 전반의 엔터프라이즈 생산성을 향상시키고 있습니다.
액센츄어는 오늘 발표된 새로운 산업 에이전트 솔루션을 포함한 AI 리파이너리(AI Refinery) 플랫폼에 NVIDIA Llama Nemotron 추론 모델을 제공합니다. 이를 통해 고객이 산업별 과제에 맞는 맞춤형 AI 에이전트를 신속하게 개발하고 배포해 비즈니스 혁신을 가속화할 수 있도록 지원합니다.
딜로이트는 최근 발표한 조라(Zora) AI 에이전트 AI 플랫폼에 Llama Nemotron 추론 모델을 통합할 계획입니다. 이 플랫폼은 깊이 있는 기능과 특정 산업에 맞는 비즈니스 지식, 그리고 투명성을 갖춘 AI 에이전트를 통해 사용자의 의사 결정과 행동을 돕고 모방하도록 설계됐습니다.
에이전틱 AI를 위한 필수 도구를 제공하는 NVIDIA AI Enterprise
개발자는 새로운 NVIDIA 에이전틱 AI 도구와 소프트웨어를 사용해 NVIDIA Llama Nemotron 추론 모델을 배포함으로써 협업 AI 시스템에서 고급 추론 기능을 쉽게 활용할 수 있습니다.
NVIDIA AI Enterprise 소프트웨어 플랫폼에서 최신 에이전틱 AI 구축을 지원하는 도구와 기술은 다음과 같습니다.
- NVIDIA AI-Q Blueprint는 기업이 자율적으로 인지, 추론, 행동할 수 있는 AI 에이전트에 지식을 연결하도록 지원합니다. NVIDIA NIM 마이크로서비스로 구축된 Blueprint는 멀티모달 정보 검색을 위해 NVIDIA NeMo Retriever를 통합하고, 오픈 소스 NVIDIA AgentIQ 툴킷을 사용해 에이전트와 데이터 연결, 최적화, 투명성을 구현합니다.
- NVIDIA AI Data Platform은 AI-Q Blueprint로 구축된 AI 쿼리 에이전트가 포함된 새로운 유형의 기업 인프라를 위한 맞춤형 참조 설계입니다.
- 새로운 NVIDIA NIM 마이크로서비스는 복잡한 에이전틱 AI 애플리케이션을 위한 추론을 최적화해 모든 환경에서 지속적인 학습과 실시간 적응을 가능하게 합니다. 이 마이크로서비스는 메타(Meta), 마이크로소프트, 미스트랄 AI(Mistral AI)와 같은 주요 모델 제작 업체들이 최신 모델을 안정적으로 배포할 수 있도록 지원합니다.
- NVIDIA NeMo 마이크로서비스는 AI 에이전트가 인간과 AI가 생성한 피드백을 통해 지속적으로 학습할 수 있는 강력한 데이터 플라이휠(flywheel)을 빠르게 구축, 유지할 수 있는 효율적인 엔터프라이즈급 솔루션을 제공합니다. 데이터 플라이휠 구축을 위한 NVIDIA AI Blueprint는 개발자가 마이크로서비스를 사용해 이 플라이휠을 쉽게 구축하고 최적화할 수 있는 참조 아키텍처를 제공합니다.
이용하기
NVIDIA Llama Nemotron Super 모델과 NIM 마이크로서비스는 build.nvidia.com과 허깅 페이스(Hugging Face)에서 다운로드할 수 있는 호스트형 애플리케이션 프로그래밍 인터페이스로 제공될 예정입니다. NVIDIA 개발자 프로그램(Developer Program) 회원은 개발, 테스트, 연구를 위한 목적으로 무료로 이용할 수 있습니다.
기업들은 가속화된 데이터센터와 클라우드 인프라에서 NVIDIA AI Enterprise 소프트웨어 플랫폼을 사용해 Llama Nemotron NIM 마이크로서비스를 운영할 수 있습니다. 개발자는 NVIDIA NeMo 마이크로서비스가 출시될 때 알림을 받을 수 있도록 등록이 가능합니다.
NVIDIA AI-Q Blueprint는 올해 4월 출시될 예정이며, NVIDIA AgentIQ 툴킷은 현재 깃허브(GitHub)에서 사용할 수 있습니다.