NVIDIA는 새로운 NVIDIA H100 Tensor Core GPU로 구축되는 세계 최초의 AI 플랫폼 4세대 NVIDIA DGX 시스템을 발표했습니다.
DGX H100 시스템은 대규모 언어 모델, 추천 시스템, 의료 연구와 기후 과학의 방대한 컴퓨팅 요구 사항을 충족하는 데 필요한 규모를 제공합니다. 각 DGX H100은 시스템당 8개의 NVIDIA H100 GPU를 탑재하고, NVIDIA NVLink를 통해 하나로 연결되었는데요. 이전 세대보다 6배 더 높은 새로운 FP8 정밀도에서 32페타플롭(petaflops)의 AI 성능을 제공합니다.
DGX H100 시스템은 차세대 NVIDIA DGX POD와 NVIDIA DGX SuperPOD AI 인프라 플랫폼의 구성 요소입니다. 최신 DGX SuperPOD 아키텍처는 새로운 NVIDIA NVLink 스위치 시스템을 갖추고 있으며, 최대 32개의 노드를 총 256개의 H100 GPU로 연결할 수 있습니다.
이전 모델보다 6배 더 높은 1엑사플롭(exaflops)의 FP8 AI 성능을 제공하는 차세대 DGX SuperPOD는 수조 개의 매개변수로 대규모 LLM 워크로드를 실행할 수 있는 기능으로 AI의 영역을 확장합니다.
NVIDIA 설립자 겸 CEO인 젠슨 황(Jensen Huang)은 “AI는 소프트웨어가 할 수 있는 일과 소프트웨어가 생산되는 방식을 근본적으로 변화시켰습니다. AI로 산업을 혁신하는 기업은 AI 인프라의 중요성을 깨닫고 있습니다. 우리의 새로운 DGX H100 시스템은 엔터프라이즈 AI 공장이 데이터를 우리의 가장 귀중한 리소스인 인텔리전스로 정제할 수 있도록 지원할 것입니다”라고 말했습니다.
NVIDIA Eos – 세계에서 가장 빠른 AI 슈퍼컴퓨터 발표
NVIDIA는 기후 과학, 디지털 생물학과 AI의 미래를 발전시키는 NVIDIA 연구원의 작업을 지원하기 위해 획기적인 새로운 AI 아키텍처로 DGX SuperPOD를 최초로 구축할 예정입니다.
“Eos” 슈퍼컴퓨터는 4,608개의 DGX H100 GPU와 함께 총 576개의 DGX H100 시스템을 갖췄으며, 올해 하반기에 가동을 시작해 세계에서 가장 빠른 AI 시스템이 될 것으로 예상됩니다.
NVIDIA Eos는 현재 세계에서 가장 빠른 시스템인 일본의 후가쿠(Fugaku) 슈퍼컴퓨터보다 4배 빠른 AI 컴퓨팅 성능인 18.4 엑사플롭을 제공할 것으로 예상됩니다. 전통적인 과학 컴퓨팅의 경우, Eos는 275페타플롭의 성능을 제공할 것입니다.
Eos는 NVIDIA와 OEM 및 클라우드 파트너의 고급 AI 인프라에 대한 청사진 역할을 할 것으로 기대됩니다.
DGX H100 시스템, DGX POD 및 DGX SuperPOD로 쉽게 확장되는 엔터프라이즈 AI
DGX H100 시스템은 기업이 초기 프로젝트에서 광범위한 구축으로 성장함에 따라 AI의 요구 사항을 충족하도록 쉽게 확장됩니다.
총 6,400억 개의 트랜지스터가 있는 8개의 H100 GPU 외에도 각 DGX H100 시스템에는 고급 네트워킹, 스토리지와 보안 서비스를 오프로드, 가속화 및 격리하는 2개의 NVIDIA BlueField-3 DPU가 포함돼 있습니다.
8개의 NVIDIA ConnectX-7 Quantum-2 InfiniBand 네트워킹 어댑터는 컴퓨팅 및 스토리지 연결을 위해 초당 400기가비트의 처리량을 제공해, 이전 세대 시스템 속도의 두 배입니다. 또한 NVSwitch와 결합된 4세대 NVLink는 각 DGX H100 시스템의 모든 GPU 간에 이전 세대보다 1.5배 향상된 초당 900기가바이트의 연결을 제공합니다.
DGX H100 시스템은 듀얼 x86 CPU를 사용하며 NVIDIA 파트너의 NVIDIA 네트워킹 및 스토리지와 결합해 모든 규모의 AI 컴퓨팅을 위한 유연한 DGX POD를 만들 수 있습니다.
DGX SuperPOD는 DGX H100 시스템을 통해 확장 가능한 엔터프라이즈 AI 우수성을 제공합니다. DGX SuperPOD의 DGX H100 노드와 H100 GPU는 NVLink 스위치 시스템과 NVIDIA Quantum-2 InfiniBand로 연결되어 이전 세대보다 11배 향상된 총 70테라바이트/초의 대역폭을 제공합니다. NVIDIA 파트너의 스토리지는 DGX SuperPOD AI 컴퓨팅의 요구 사항을 충족하도록 테스트되고 인증됩니다.
여러 DGX SuperPOD 장치를 결합해 자동차, 의료, 제조, 통신, 소매 등과 같은 산업에서 대규모 모델을 개발하는 데 필요한 AI 성능을 제공할 수 있습니다.
NVIDIA DGX 파운드리, DGX SuperPOD로 고객 성공 가속화
NVIDIA DGX Foundry 호스팅 개발 솔루션은 DGX SuperPOD 고객이 시스템이 설치되는 동안 고급 컴퓨팅 인프라에 즉시 액세스할 수 있도록 전 세계적으로 확장되고 있는데요. 북미, 유럽 및 아시아에 추가됐으며 DGX SuperPOD 또는 그 일부에 대한 원격 액세스를 제공합니다.
DGX Foundry에는 NVIDIA Base Command 소프트웨어가 포함돼 있어, 고객이 DGX SuperPOD 인프라에서 종단 간 AI 개발 수명 주기를 쉽게 관리할 수 있습니다.
자격을 갖춘 기업은 전 세계 에퀴닉스 인터내셔널 비즈니스 익스체인지(Equinix International Business Exchange, IBX) 데이터센터에서 호스팅되는 NVIDIA LaunchPad를 통해 제공되는 선별된 랩으로 NVIDIA Base Command와 DGX 시스템을 무료로 경험할 수 있습니다.
고객의 증가하는 AI 채택을 지원하는 MLOps와 Enterprise AI 소프트웨어
AI 개발을 진행하고 있는 DGX 고객을 지원하기 위해 도미노 데이터 랩(Domino Data Lab), Run:ai, Weights & Biases 등 NVIDIA DGX 지원 소프트웨어 파트너사의 MLOps 솔루션이 ‘NVIDIA AI Accelerated’ 프로그램에 활용되고 있습니다.
참가 파트너의 MLOps 애플리케이션을 검증하여 DGX 고객에게 엔터프라이즈 워크플로우와 클러스터 관리, 스케줄링, 조정 솔루션을 제공합니다.
또한 NVIDIA DGX 시스템에는 베어메탈 인프라스트럭처를 새롭게 지원하는 NVIDIA AI Enterprise 소프트웨어 스위트가 포함돼 있죠. DGX 고객은 NVIDIA RAPIDS, NVIDIA TAO Toolkit, NVIDIA Triton Inference Server 등과 같은 소프트웨어 제품군에 포함된 사전 훈련된 NVIDIA AI 플랫폼 모델, 툴킷, 프레임워크를 사용하여 작업을 가속화할 수 있습니다.
DGX 지원 관리 서비스 프로그램으로 AI 도입 간소화
Enterprise AI 도입이 증가함에 따라 고객은 비즈니스를 혁신하는 데 필요한 인프라를 추가하기 위해 더 많은 옵션을 찾고 있는데요. NVIDIA는 서비스 프로바이더와 협력하여 인프라를 감시하고 싶은 고객을 지원하기 위해 새로운 DGX 지원 관리 서비스(DGX-Ready Managed Services) 프로그램을 도입합니다.
딜로이트(Deloitte)는 이 프로그램에서 NVIDIA와 팀을 이룬 최초의 글로벌 프로바이더이며, 지역 프로바이더인 CGit, ePlus inc., Insight Enterprise, PTC System과 함께 유럽, 북미, 아시아 지역의 고객을 지원하는 것으로 인증 받을 예정입니다.
딜로이트 컨설팅의 AI 및 데이터 운영 오퍼링 리더 짐 로완(Jim Rowan)은 “AI로 가능해진 비즈니스 혁신은 기업이 자사의 운영에 기술을 통합할 수 있는 능력이 있어야만 실현될 수 있습니다. 새로운 DGX 지원 관리 서비스 프로그램을 통해 고객은 전 세계 딜로이트 전문가가 관리하는 NVIDIA DGX 시스템과 소프트웨어로 세계 최고의 AI를 쉽게 도입할 수 있습니다”라고 말했습니다.
DGX 지원 라이프 사이클 관리 프로그램으로 쉬워진 업그레이드
고객은 새로운 DGX 지원 라이프 사이클 관리 프로그램을 통해 기존 DGX 시스템을 최신 NVIDIA DGX 플랫폼으로 업그레이드할 수 있습니다.
DGX 지원 라이프사이클 관리에 참여하는 NVIDIA 채널 파트너는 새로운 고객이 구입할 수 있도록 이전 세대의 DGX 시스템을 갱신할 수 있습니다. 또한 AI 인프라스트럭처용 세계 범용 시스템에 대한 접근을 확대할 수 있습니다.
이용 정보
NVIDIA DGX H100 시스템, DGX POD, DGX SuperPOD는 3분기부터 NVIDIA의 글로벌 파트너를 통해 구입할 수 있습니다.
고객은 Cyxtera, 디지털 리얼티(Digital Realty), 에퀴닉스(Equinix) IBX 데이터센터 등 NVIDIA DGX 지원 데이터 센터 파트너에 의해서 운영되는 코로케이션 시설에 DGX 시스템을 도입할 수도 있죠.
NVIDIA DGX 시스템에 대한 자세한 내용은 NVIDIA CEO 젠슨 황(Jensen Huang)의 GTC 2022 키노트와 GTC 무료 등록 후 NVIDIA 및 업계 선두 업체가 함께하는 세션에서 확인 가능합니다.