편집자 주: NIM Agent Blueprint의 명칭은 2024년 10월에 NVIDIA Blueprint로 변경되었습니다. 이 블로그에서 해당 명칭에 대한 모든 참조가 업데이트되었습니다.
전 세계의 기업과 공공 부문 조직들은 카메라, IoT 센서, 차량 등 다양한 기기에서 수집되는 시각적 정보를 활용하는 인력을 지원하기 위해 AI 에이전트를 개발하고 있습니다.
이러한 작업을 지원하기 위해, 비디오 검색 및 요약용 NVIDIA Blueprint가 출시되었습니다. 이를 통해 거의 모든 업계의 개발자는 비디오와 이미지 콘텐츠를 분석하는 시각 AI 에이전트를 구축할 수 있습니다. 이 에이전트는 사용자 질문에 답하고 요약을 생성하며 특정 상황에서 알림을 활성화할 수 있습니다.
Blueprint는 비전 AI 애플리케이션 구축을 위한 개발자 도구 세트인 NVIDIA Metropolis의 일부로, NVIDIA의 컴퓨터 비전 기술과 생성형 AI 기술을 결합한 사용자 맞춤형 워크플로우를 제공합니다.
글로벌 시스템 통합업체와 기술 솔루션 제공업체인 Accenture, Dell Technologies, Lenovo는 NVIDIA의 비디오 검색 및 요약용 AI Blueprint를 활용하여 전 세계 기업과 도시에서 시각적 검색 및 요약 기능을 제공하고 있습니다. 공장, 창고, 상점, 공항, 교차로 등 다양한 현장에서 생산성과 안전을 강화할 차세대 AI 애플리케이션을 개발하고 본격적으로 도입하고 있습니다.
NVIDIA AI Blueprint는 Smart City Expo World Congress를 앞두고 발표되었는데요. 방대한 양의 실시간 비디오 스트림이나 데이터 아카이브를 수집하고 이해할 수 있는 생성형 AI 기반 에이전트를 구축하고 배포하는 데 최적화된 소프트웨어 제품군을 제공합니다.
이제 사용자는 딱딱한 소프트웨어 코드 대신 자연어 프롬프트로 이러한 시각적 AI 에이전트를 맞춤화할 수 있어, 산업 및 스마트 시티 애플리케이션 전반에서 가상 비서 배포의 장벽이 낮아졌습니다.
비전 언어 모델을 활용하는 NVIDIA Blueprint
시각 AI 에이전트는 컴퓨터 비전과 언어 이해를 결합해 물리적 세계를 해석하고 추론하는 작업을 수행하는 생성형 AI 모델인 비전 언어 모델(VLM)을 기반으로 합니다.
비디오 검색 및 요약을 위한 NVIDIA Blueprint는 NVIDIA VILA 같은 VLM, Meta의 Llama 3.1 405B 같은 LLM, GPU 가속 질문 답변 및 상황 인식 검색 증강 생성을 지원하는 AI 모델용 NVIDIA NIM 마이크로서비스로 구성할 수 있습니다. 개발자는 NVIDIA NeMo 플랫폼을 활용해 다양한 VLM, LLM, 그래프 데이터베이스를 손쉽게 교체하고, 고유한 환경과 사용 사례에 맞춰 파인 튜닝할 수 있습니다.
NVIDIA AI Blueprint를 도입하면 스마트 시티 애플리케이션용 생성형 AI 모델을 조사하고 최적화하는 데 드는 수개월의 노력을 절약할 수 있으며, 이를 엣지, 온프레미스 또는 클라우드의 NVIDIA GPU에 배포하여 비디오 아카이브에서 중요한 순간을 빠르게 식별하는 작업이 크게 가속화됩니다.
예를 들어 창고 환경에서는 이 워크플로우로 구축된 AI 에이전트가 안전 프로토콜 위반 시 작업자에게 경고를 보낼 수 있고, 혼잡한 교차로에서는 교통 충돌을 감지하여 보고서를 생성해 비상 대응에 도움을 줄 수 있습니다. 또한 공공 인프라에서는 유지보수 작업자가 AI 에이전트에게 항공 영상을 검토하도록 요청하여 노후화된 도로나 기차 선로, 교량을 파악해 사전 예방적 유지보수를 지원할 수 있습니다.
스마트 공간 외에도 시각 장애인을 위한 비디오 요약, 스포츠 경기의 자동 하이라이트 생성, 다른 AI 모델 학습을 위한 방대한 시각 데이터 세트 라벨링 등에도 시각 AI 에이전트를 활용할 수 있습니다.
비디오 검색 및 요약 워크플로우에는 AI 기반 디지털 아바타를 손쉽게 생성하고, 개인화된 고객 서비스를 위한 가상 비서를 구축하며, PDF 데이터에서 엔터프라이즈 인사이트를 추출할 수 있는 NVIDIA AI Blueprint 컬렉션이 포함됩니다.
NVIDIA AI Blueprint는 개발자들이 무료로 체험하고 다운로드할 수 있으며, 데이터 과학 파이프라인을 가속화하고 생성형 AI 개발 및 배포를 간소화하는 엔드투엔드 소프트웨어 플랫폼인 NVIDIA AI 엔터프라이즈를 통해 데이터센터와 클라우드 전반에서 가속화된 프로덕션 배포가 가능합니다.
물류창고부터 세계 주요 수도까지 인사이트를 제공하는 AI 에이전트
엔터프라이즈 및 공공 부문 고객은 NVIDIA 파트너 에코시스템의 지원을 받아 NVIDIA Blueprint 전체 컬렉션을 활용할 수 있습니다.
글로벌 전문 서비스 기업인 Accenture는 NVIDIA AI 파운드리를 기반으로 구축된 Accenture AI Refinery에 NVIDIA AI Blueprint를 통합하여 고객이 기업 데이터로 훈련된 맞춤형 AI 모델을 개발할 수 있도록 지원하고 있습니다.
말레이시아의 ITMAX와 베트남의 FPT 등 동남아시아의 글로벌 시스템 통합업체들은 스마트 시티 및 지능형 교통 애플리케이션을 위해 비디오 검색과 요약용 NVIDIA AI Blueprint를 활용한 AI 에이전트를 구축하고 있습니다.
또한 개발자들은 글로벌 서버 제조업체들이 제공하는 컴퓨팅, 네트워킹, 소프트웨어를 통해 NVIDIA AI 플랫폼에서 NVIDIA AI Blueprint를 구축하고 배포할 수 있습니다.
또한 NVIDIA AI Blueprint는 NVIDIA가 제공하는 Lenovo 하이브리드 AI 솔루션에도 통합되어 있습니다.
NVIDIA Metropolis 에코시스템의 스마트 시티 애플리케이션 제공업체인 K2K와 같은 기업들은 새로운 NVIDIA AI Blueprint를 사용해 실시간 교통 카메라를 분석하는 AI 에이전트를 구축할 수 있습니다. 시 공무원들은 거리 상황을 질문하고, 운영 개선을 위한 추천을 받을 수 있습니다. K2K는 이탈리아 팔레르모 시 교통 관리자와 협력하여 NIM 마이크로서비스와 NVIDIA AI Blueprint를 통해 시각적 AI 에이전트를 배포하고 있습니다.
11월 7일까지 바르셀로나에서 열리는 Smart Cities Expo World Congress의 NVIDIA 부스를 방문하면 비디오 검색 및 요약용 NVIDIA AI Blueprint에 대해 더 자세히 알아볼 수 있습니다.
시각 AI 에이전트를 구축하고 Blueprint를 활용하는 방법을 확인해 보세요.