수십 개의 엔터프라이즈용 생성형 AI 마이크로서비스 출시 소식을 알려드립니다. 이제 기업들은 지적 재산에 대한 완전한 소유권과 통제권을 유지하면서 자체 플랫폼에서 맞춤형 애플리케이션을 생성하고 배포할 수 있습니다.
클라우드 네이티브 마이크로서비스 카탈로그는 NVIDIA CUDA 플랫폼을 기반으로 구축됐고, NVIDIA NIM 마이크로서비스를 포함합니다. NVIDIA NIM은 NVIDIA와 파트너 에코시스템에서 제공하는 24개 이상의 인기 AI 모델에 대한 추론 최적화를 지원하죠. 또한 검색 증강 생성(RAG, retrieval-augmented generation), 가드레일, 데이터 처리, HPC 등을 위한 NVIDIA 가속 소프트웨어 개발 키트, 라이브러리, 툴을 NVIDIA CUDA-X 마이크로서비스로 액세스할 수 있습니다. 이뿐만 아니라 NVIDIA는 24개 이상의 의료용 NIM과 CUDA-X 마이크로서비스도 별도로 발표했습니다.
엄선된 마이크로서비스는 NVIDIA의 풀스택 컴퓨팅 플랫폼에 새로운 계층을 추가합니다. 이 계층은 모델 개발자, 플랫폼 제공업체, 기업 AI 생태계를 맞춤형 AI 모델을 실행하는 표준화된 경로로 연결하는데요. 이때 맞춤형 AI 모델은 클라우드, 데이터센터, 워크스테이션, PC에 탑재된 수억 개의 GPU로 구성된 NVIDIA CUDA 설치 기반에 최적화된 모델입니다.
어도비(Adobe), 케이던스(Cadence), 크라우드스트라이크(CrowdStrike), 게티이미지(Getty Images), SAP, 서비스나우(ServiceNow), 셔터스톡(Shutterstock) 등 선도적인 애플리케이션, 데이터, 사이버 보안 플랫폼 제공업체들이 NVIDIA AI Enterprise 5.0에서 제공되는 새로운 NVIDIA 생성형 AI 마이크로서비스를 가장 먼저 활용하고 있습니다.
NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “기존 엔터프라이즈 플랫폼은 생성형 AI 코파일럿으로 전환할 수 있는 풍부한 데이터를 가지고 있습니다. 파트너 에코시스템과 함께 구축된 이러한 컨테이너화된 AI 마이크로서비스는 모든 산업 분야의 기업이 AI 기업으로 거듭나기 위한 기본 요소입니다”고 말했습니다.
몇 주에서 몇 분으로 배포 시간을 단축하는 NIM 추론 마이크로서비스
NIM 마이크로서비스는 Triton Inference Server와 TensorRT-LLM을 비롯한 NVIDIA 추론 소프트웨어로 구동되는 사전 구축된 컨테이너를 제공합니다. 개발자는 배포 시간을 몇 주에서 몇 분으로 단축할 수 있죠.
이 서비스는 언어, 음성, 신약 개발과 같은 도메인을 위한 업계 표준 API를 제공합니다. 이러한 지원을 바탕으로 개발자는 자체 인프라에서 안전하게 호스팅되는 독점 데이터를 사용해 AI 애플리케이션을 빠르게 구축할 수 있죠. 더불어 애플리케이션을 필요에 따라 확장 가능한 유연상과 성능도 갖췄습니다. NVIDIA 가속 컴퓨팅 플랫폼 상에서 프로덕션 환경 내 생성형 AI를 실행할 수 있습니다.
NIM 마이크로서비스는 NVIDIA, A121, 어뎁트(Adept), 코히어(Cohere), 게티이미지, 셔터스톡 모델과 더불어 구글(Google), 허깅페이스(Hugging Face), 메타(Meta), 마이크로소프트(Microsoft), 미스트랄 AI(Mistral AI), 스태빌리티 AI(Stability AI)의 오픈 모델을 배포할 수 있는 가장 빠르고 성능이 뛰어난 프로덕션 AI 컨테이너를 제공합니다.
서비스나우는 새로운 도메인별 코파일럿과 기타 생성형 AI 애플리케이션을 더 빠르고 비용 효율적으로 개발, 배포하기 위해 NIM을 사용한다고 발표했습니다.
고객들은 아마존 세이지메이커(Amazon SageMaker), 구글 쿠버네티스 엔진(Google Kubernetes Engine), 마이크로소프트 애저 AI(Microsoft Azure AI)에서 NIM 마이크로서비스에 액세스하고, 딥셋(Deepset), 랭체인(LangChain), 라마인덱스(LlamaIndex)와 같은 인기 AI 프레임워크와 통합할 수 있습니다.
RAG, 데이터 처리, 가드레일, HPC를 위한 CUDA-X 마이크로서비스
CUDA-X 마이크로서비스는 데이터 준비, 맞춤화, 훈련을 위한 엔드 투 엔드 빌딩 블록을 제공해 산업 전반에서 프로덕션 AI 개발 속도를 높입니다.
기업들은 AI 채택을 가속화하기 위해 맞춤형 음성 및 번역 AI를 위한 NVIDIA Riva, 라우팅 최적화를 위한 NVIDIA cuOpt, 고해상도 기후 및 날씨 시뮬레이션을 위한 NVIDIA Earth-2 등의 CUDA-X 마이크로서비스를 사용할 수 있습니다.
개발자는 NeMo Retriever 마이크로서비스를 통해 텍스트, 이미지, 막대 그래프, 라인 플롯, 파이 차트 등의 시각화를 포함한 비즈니스 데이터에 AI 애플리케이션을 연결해 매우 정확하고 맥락에 맞는 응답을 생성할 수 있는데요. 이러한 RAG 기능을 통해 코파일럿, 챗봇, 생성형 AI 생산성 도구에 더 많은 데이터를 제공해 정확도와 인사이트를 높일 수 있습니다.
맞춤형 모델 개발을 위한 추가적인 NVIDIA NeMo 마이크로서비스도 곧 출시될 예정이다. 여기에는 훈련과 검색을 위한 정제된 데이터세트 구축 목적의 NVIDIA NeMo Curator, 도메인별 데이터로 LLM을 미세 조정하기 위한 NVIDIA NeMo Customizer, AI 모델 성능 분석을 위한 NVIDIA NeMo Evaluator, LLM용 NVIDIA NeMo Guardrails 등이 포함됩니다.
생성형 AI 마이크로서비스로 엔터프라이즈 플랫폼 강화하는 NVIDIA 에코시스템
주요 애플리케이션 제공업체 외에도 NVIDIA 에코시스템 전반의 데이터, 인프라, 컴퓨팅 플랫폼 제공업체들이 NVIDIA 마이크로서비스와 협력해 기업에 생성형 AI를 제공하고 있습니다.
박스(Box), 클라우데라(Cloudera), 코히시티(Cohesity), 데이터스택스(Datastax), 드롭박스(Dropbox)와 넷앱(NetApp)을 비롯한 최고의 데이터 플랫폼 제공업체들이 NVIDIA 마이크로서비스와 협력하고 있죠. 이를 통해 고객들은 RAG 파이프라인을 최적화하고 자사의 독점 데이터를 생성형 AI 애플리케이션에 통합할 수 있습니다. 스노우플레이크(Snowflake)는 NeMo Retriever를 활용하여 엔터프라이즈 데이터를 AI 애플리케이션 구축에 활용합니다.
기업은 주요 클라우드 서비스인 아마존 웹 서비스(Amazon Web Services, AWS), 구글 클라우드(Google Cloud), 애저, 오라클 클라우드 인프라스트럭쳐(Oracle Cloud Infrastructure) 등 원하는 인프라에 NVIDIA AI Enterprise 5.0에 포함된 NVIDIA 마이크로서비스를 배포할 수 있습니다.
또한 NVIDIA 마이크로서비스는 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), HP, 레노버(Lenovo), 슈퍼마이크로(Supermicro)의 서버와 워크스테이션을 포함한 400개 이상의 NVIDIA-Certified Systems에서 지원됩니다. 한편 HPE는 생성형 AI용 HPE의 엔터프라이즈 컴퓨팅 솔루션 출시를 발표했으며, NIM과 NVIDIA AI 파운데이션 모델을 HPE AI 소프트웨어에 통합할 계획입니다.
NVIDIA AI Enterprise 마이크로서비스는 VM웨어 프라이빗 AI 파운데이션 위드 NVIDIA(VMware Private AI Foundation with NVIDIA)를 포함한 인프라 소프트웨어 플랫폼에 제공될 예정입니다. 레드햇 오픈시프트(Red Hat OpenShift)는 보안, 규정 준수, 제어에 최적화된 기능을 통해 기업이 생성형 AI 기능을 애플리케이션에 보다 쉽게 통합할 수 있게 하는 NVIDIA NIM 마이크로서비스를 지원합니다. 캐노니컬(Canonical)은 NVIDIA AI Enterprise를 통해 NVIDIA 마이크로서비스에 대한 참드 쿠버네티스(Charmed Kubernetes) 지원을 추가하고 있습니다.
NVIDIA 에코시스템은 어브릿지(Abridge), 애니스케일(Anyscale), 데이터이쿠(Dataiku), 데이터로봇(DataRobot), 글린(Glean), H2O.ai, 시큐리티 AI(Securiti AI), 스케일.ai(Scale.ai), 옥토AI(OctoAI), 웨이츠 앤드 바이어시스(Weights & Biases) 등 수백 개의 AI와 MLOps 파트너로 구성돼 있는데요. 이들은 NVIDIA AI Enterprise를 통해 NVIDIA 마이크로서비스에 대한 지원을 추가하고 있습니다.
아파치 루씬(Apache Lucene), 데이터스택스, 파이스(Faiss), 키네티카(Kinetica), 밀버스(Milvus), 레디스(Redis), 위비에이트(Weaviate)는 기업용 반응형 RAG 기능 강화를 위해 NVIDIA NeMo Retriever 마이크로서비스와 협업하는 벡터 검색 제공업체 중 하나입니다.
NVIDIA 마이크로서비스 이용하기
개발자는 ai.nvidia.com에서 무료로 NVIDIA 마이크로서비스를 실험해 볼 수 있습니다. 기업에서는 NVIDIA-Certified System 및 주요 클라우드 플랫폼에서 실행되는 NVIDIA AI Enterprise 5.0을 통해 프로덕션급 NIM 마이크로서비스를 배포할 수 있습니다.
보다 자세한 내용은 3월 18일부터 21일까지 미국 캘리포니아 새너제이 컨벤션 센터에서 개최되는 GTC의 NVIDIA 부스를 방문하거나 젠슨 황의 GTC 키노트를 다시 시청해 확인할 수 있습니다.