NVIDIA는 NVIDIA Blackwell Ultra GPU로 구축된 NVIDIA DGX SuperPOD™을 발표했습니다. 이는 세계에서 가장 발전된 형태의 기업용 AI 인프라로, 산업 전반에 최첨단 에이전틱 AI(Agentic AI) 추론을 위한 AI 팩토리 슈퍼컴퓨팅을 제공합니다.
기업들은 이제 NVIDIA 네트워킹과 통합된 새로운 NVIDIA DGX™ GB300, DGX B300 시스템을 활용해, 즉시 사용 가능한 DGX SuperPOD AI 슈퍼컴퓨터를 구축할 수 있게 됐습니다. 이 시스템들은 FP4 정밀도를 지원하고, AI 애플리케이션의 토큰 생성을 향상시키기 위한 더 빠른 AI 추론을 제공합니다.
AI 팩토리는 에이전틱 AI와 생성형 AI, 물리 AI 워크로드에 필요한 목적 기반 인프라를 제공합니다. 이때 AI의 사전 및 사후 훈련, 프로덕션용 애플리케이션으로의 테스트 타임 스케일링(test-time scaling, TTS)을 진행하려면 상당한 수준의 컴퓨팅 리소스가 필요하죠.
NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “AI가 빛의 속도로 발전하고 있습니다. 기업들은 추론형 AI와 추론 시간 스케일링의 처리 요건을 충족할 수 있도록 확장이 가능한 AI 팩토리를 구축하고자 경쟁하고 있습니다. NVIDIA Blackwell Ultra DGX SuperPOD는 에이전틱 AI와 물리 AI의 시대에 걸맞게 독보적인 AI 슈퍼컴퓨팅을 제공합니다”고 말했습니다.
DGX GB300 시스템은 NVIDIA Grace™ CPU 36개와 Blackwell Ultra GPU 72개가 포함된 NVIDIA Grace Blackwell Ultra 슈퍼칩을 탑재했습니다. 또한, 고급 추론형 모델에서 실시간 에이전트 응답이 가능하도록 설계된 랙 스케일의 수랭식 아키텍처를 갖췄습니다.
공랭식 DGX B300 시스템의 경우, NVIDIA B300 NVL16 아키텍처를 활용해 데이터센터가 어디에서나 생성형 AI와 에이전틱 AI 애플리케이션의 컴퓨팅 요구 사항을 충족할 수 있도록 돕습니다.
NVIDIA는 고도화된 가속 인프라에 대한 증가하는 수요를 충족하기 위해, Blackwell Ultra 기반 NVIDIA DGX SuperPOD을 활용한 관리형 서비스인 NVIDIA Instant AI Factory도 공개했습니다. 또한, 에퀴닉스(Equinix)는 전세계 45개 시장에 위치한 자사의 수랭식 또는 공랭식 AI 전용 데이터센터에서 새로운 DGX GB300과 DGX B300 시스템을 최초로 제공할 예정입니다.
AI 추론 시대를 견인하는 NVIDIA DGX GB300과 DGX SuperPOD
DGX GB300 시스템을 탑재한 DGX SuperPOD은 수만 개의 NVIDIA Grace Blackwell Ultra 슈퍼칩으로 확장 가능합니다. 이들은 NVIDIA NVLink™와 Quantum-X800 InfiniBand, Spectrum-X™ Ethernet 네트워킹으로 연결돼 고도로 계산 집약적인 워크로드의 훈련과 추론을 강화합니다.
NVIDIA DGX GB300 시스템은 NVIDIA Hopper 시스템으로 구축된 AI 팩토리 대비 70배 높은 AI 성능과 38TB에 달하는 빠른 메모리를 제공해, 에이전틱 AI와 추론 애플리케이션의 다단식 추론에서 탁월한 성능과 확장성을 보여줍니다.
DGX GB300 시스템 각각에 있는 72개의 Grace Blackwell Ultra GPU는 5세대 NVLink 기술로 연결되고 NVLink Switch 시스템을 거쳐 하나의 거대한 공유 메모리 공간이 됩니다.
DGX GB300 시스템은 NVIDIA ConnectX-8 SuperNIC를 72개씩 탑재하고 최대 800Gb/s의 가속 네트워킹 속도를 제공해 이전 세대보다 두 배 빠른 성능을 보여줍니다. NVIDIA BlueField-3 DPU 18개는 NVIDIA Quantum-X800 InfiniBand 또는 NVIDIA Spectrum-X Ethernet과 짝을 이뤄 거대 규모 AI 데이터센터의 성능과 효율, 보안을 강화합니다.
모든 데이터센터의 AI를 가속하는 DGX B300 시스템
NVIDIA DGX B300 시스템은 에너지 효율적인 생성형 AI와 AI 추론을 모든 데이터센터에 제공하기 위해 설계된 AI 인프라 플랫폼입니다.
NVIDIA Blackwell Ultra GPU로 가속하는 DGX B300 시스템은 Hopper 세대 대비 추론에서 11배, 훈련에서 4배에 달하는 AI 성능 향상을 제공하죠.
각 시스템은 2.3TB의 HBM3e 메모리를 제공하며, NVIDIA ConnectX-8 SuperNIC 8개와 BleuField-3 DPU 2개를 갖춘 고급 네트워킹을 포함합니다.
AI 개발과 배포 가속하는 NVIDIA 소프트웨어
NVIDIA는 기업의 인프라 유지관리와 운영 자동화를 위한 NVIDIA Mission Control™도 발표했습니다. 이는 Blackwell 기반 DGX 시스템을 AI 데이터센터가 운영, 조율하게 해주는 소프트웨어입니다.
NVIDIA DGX 시스템은 엔터프라이즈급 AI 에이전트를 구축, 배포하기 위한 NVIDIA AI Enterprise 소프트웨어 플랫폼을 지원합니다. 여기에는 새로 발표된 NVIDIA Llama Nemotron 개방형 추론 모델 제품군을 비롯한 NVIDIA NIM™ 마이크로서비스가 포함됩니다. 또한, AI 에이전트의 성능을 조율하고 최적화하는 데 사용되는 NVIDIA AI Blueprints, 프레임워크, 라이브러리, 도구 등도 제공됩니다.
인프라 수요를 충족시키는 NVIDIA Instant AI Factory
NVIDIA Instant AI Factory는 Blackwell Ultra 기반 NVIDIA DGX SuperPOD과 NVIDIA Mission Control 소프트웨어를 활용한 에퀴닉스 관리형 서비스를 제공합니다.
전 세계에 위치한 에퀴닉스 시설을 통해 이 서비스는 최첨단 모델 훈련과 실시간 추론 워크로드에 최적화된 완전 구축형 AI 팩토리를 기업에 제공합니다. 이를 통해 수개월씩 걸리곤 하던 사전 인프라 계획 기간을 없앨 수 있습니다.
이용하기
NVIDIA DGX GB300 또는 DGX B300 시스템이 탑재된 DGX SuperPOD은 올해 하반기에 파트너사들을 통해 출시될 것으로 예상됩니다.
NVIDIA Instant AI Factory는 올해 하반기부터 출시될 예정입니다.
NVIDIA GTC 키노트를 시청하고 더 자세한 내용을 확인하세요.