엣지에서 AI 애플리케이션을 배포, 관리, 확장하는 클라우드 서비스인 NVIDIA Fleet Command에 이제 전 세계 엣지 AI 배포를 더욱 원활한 관리하는 기능들이 생겼습니다.
엣지 AI의 구축 규모때문에 기관들은 IT팀의 관리가 필수적인, 최대 수천 개의 독립적인 엣지 위치를 보유하게 됩니다. 엣지 위치는 석유 굴착 장치, 날씨 측정기, 산재된 소매점이나 산업 시설처럼 먼 곳일 수도 있죠.
컨테이너 오케스트레이션을 위한 간단한 관리 플랫폼을 제공하는 NVIDIA Fleet Command는 모든 것을 단일의 클라우드 기반 콘솔을 통해 수천 개의 분산된 환경에서 AI 애플리케이션과 시스템을 제공하고 배포하는 걸 수월하게 만듭니다.
그러나 배포 작업은 엣지에서 AI 애플리케이션을 관리하는 첫 번째 단계에 불과합니다. 이런 애플리케이션들을 최적화하는 건 패치(patches) 적용, 새로운 애플리케이션 배포, 엣지 시스템 재부팅 등 지속적인 프로세스가 동반되죠.
관리 환경에서 이런 워크플로우를 원활하게 만들기 위해 이제 Fleet Command는 고급 원격 관리, 다중 인스턴스 GPU 프로비저닝과 협력 업체의 툴과와의 추가적인 통합 기능을 제공합니다.
고급 원격관리
이제 IT관리자는 정교한 보안 기능을 갖춘 시스템과 애플리케이션에 액세스할 수 있습니다. Fleet Command로 원격관리하게 되면 액세스 제어 기능과 시간 지정 세션을 제공해, 기존의 VPN 연결로 인해 생기는 취약점을 제거합니다. 관리자는 사무실에서 편안하게 원격으로 엣지 위치에서 발생하는 문제들을 안전하게 모니터링하고 문제를 해결할 수 있게 되는 것이죠.
엣지 환경은 매우 역동적입니다. 다시 말해, 엣지 AI를 구축하는 관리자는 아주 민첩하게 빠른 변화에 대응하고 구축 다운타임을 최소화해야 하는데요. 따라서 원격관리 기능은 모든 엣지 AI 배포에서 아주 중요한 부분입니다.
새로운 원격관리 기능들에 대한 상세한 설명과 이 기능들이 관리자가 대규모의 엣지 구축을 유지하고 최적화하는 데 어떻게 쓰이는지 확인해보세요.
다중 인스턴스 GPU 프로비저닝
MIG(다중 인스턴스 GPU)는 NVIDIA GPU를 여러 개의 독립 인스턴스로 분할합니다. MIG를 이제 Fleet Command에서 사용할 수 있게 되면서 관리자가 Fleet Command 사용자 인터페이스에서 각 인스턴스에 애플리케이션을 할당하는 것이 쉬워졌습니다. MIG는 동일한 GPU에서 여러 AI 애플리케이션을 실행할 수 있도록 만들어주기 때문에 배포 크기를 적절히 조정하고 엣지 인프라를 최대한 활용할 수 있도록 지원합니다.
관리자가 Fleet Command에서 MIG를 사용해 엣지 리소스를 보다 효율적으로 최적화하여 새로운 워크로드를 쉽게 확장하는 방법에 대해 자세히 알아보세요.
AI 확장을 위해 협력하다
그 외에도 새로워진 Fleet Command를 사용하면 기업이 개발에서 배포에 이르기까지 원활한 워크플로우를 만들 수 있게 됩니다.
도미노 데이터 랩(Domino Data Lab)은 데이터 사이언티스트가 자신들이 선호하는 툴이나 언어 혹은 인프라를 사용해 AI 모델을 공동으로 개발, 배포, 모니터링할 수 있는 엔터프라이즈 MLOps 플랫폼을 제공합니다. 도미노 플랫폼이 Fleet Command와 통합되면서 데이터 과학 팀과 IT 팀은 기록 작업과 계속되는 워크플로우를 위한 단일 시스템을 통해 엣지 위치에 배치된 모델을 관리할 수 있습니다.
NVIDIA Metropolis 최고의 파트너이자 비디오관리 시스템의 선두 공급업체인 마일스톤 시스템스(Milestone Systems)은 AI 브릿지(Bridge) 애플리케이션을 만들었습니다. 이 애플리케이션은 AI애플리케이션이 수십 개의 카메라 스트림에서 나오는 통합적인 비디오 피드에 쉽게 액세스할 수 있게 하는 인터페이스 게이트웨이를 프로그래밍합니다. 마일스톤 AI 브릿지는 이제 Fleet Command와 통합되어 어떤 엣지 위치에도 쉽게 배치할 수 있습니다.
NVIDIA Metropolis 최고의 파트너이자 NVIDIA Partner Network의 최상위 멤버인 아이언윈(IronYun)은 자사의 바이디오(Vaidio) AI 플랫폼으로 여러 세대에 걸쳐 진화한 고급 AI기술을 전 세계의 보안, 안전, 운영 애플리케이션에 적용합니다. 바이디오는 모든 IP 카메라와 연동되는 개방형 플랫폼으로, 수십 개의 시장 선도적인 비디오관리 시스템과 바로 통합될 수 있죠. 바이디오는 온프레미스, 클라우드, 엣지, 하이브리드 환경에 배치 가능합니다. 바이디오는 한 대의 카메라에서 수천 대까지 확장할 수 있습니다. Fleet Command는 엣지에서 Vaidio AI를 더욱 쉽게 배치하고 규모에 맞게 관리를 단순화시킵니다.
Fleet Command는 이런 새로운 기능과 확장된 협업을 통해 엣지 배포의 유지, 모니터링, 최적화하는 일상적인 프로세스를 간단하고 쉽게 만듭니다.
Fleet Command 테스트해보기
Fleet Command의 이런 기능을 테스트 삼아 사용하려면 무료로 NVIDIA LaunchPad를 확인해보세요.
LaunchPad는 Fleet Command 인스턴스에 바로 단기간에 액세스하여, 인프라 프로비저닝과 최적화 작업, 네트워크 엣지에 비전 AI 구축 작업 등의 사용 사례를 포함하는 모든 프로세스를 사용자에게 안내하는 실습 랩을 사용해, 실제 애플리케이션을 실제 서버에 쉽게 배포하고 모니터링합니다.