차세대 AI가 인프라에 새로운 요구를 던지고 있습니다.
AI 에이전트와 조 단위 파라미터 워크로드가 주류로 자리 잡으면서, AI 인프라의 성능은 컴퓨팅만이 아니라 컴퓨팅과 메모리, 스토리지, 네트워킹, 소프트웨어를 하나의 통합 시스템으로 함께 설계하는 방식에 달리게 되었는데요,
NVIDIA는 하이퍼스케일러와 AI 혁신 기업이 차세대 세미 커스텀 AI 인프라를 구축할 수 있도록, NVIDIA NVLink Fusion을 NVIDIA NVHBM으로 확장했습니다. NVHBM은 XPU에 더 높은 메모리 성능과 효율을 제공하는 차세대 고대역폭 메모리 기술입니다. 주요 메모리 파트너들이 이를 검증하고 공급할 예정이며, 이로써 NVLink Fusion 고객도 이 진보된 메모리 역량을 활용할 수 있게 됩니다.
기존 HBM 아키텍처는 메모리 컨트롤러를 XPU 다이에 배치해, 연산에 쓸 수 있는 귀중한 실리콘 면적을 차지합니다. NVIDIA가 향후 GPU에 적용할 것과 동일한 기술로 만들어진 NVHBM은 NVIDIA의 맞춤형 메모리 컨트롤러를 HBM 베이스 다이에 통합하게 됩니다.
메모리 컨트롤러를 XPU가 아니라 3D HBM 스택에 통합함으로써, NVHBM은 표준 HBM4E 대비 메모리 대역폭을 최대 30% 높이고 HBM 전력 소비를 15% 낮추며, XPU 연산 다이의 면적을 최대 25%까지 더 확보할 수 있게 해줍니다.
NVIDIA는 여러 메모리 공급사가 제공할 수 있는 표준 NVHBM 구현을 마련하고 있습니다. 이를 통해 여러 공급사의 메모리를 통합하고 검증하는 데 드는 엔지니어링 부담이 줄어들어, NVLink Fusion 고객은 맞춤형 AI 칩을 더 빠르게 시장에 내놓을 수 있습니다.
특히, Amazon의 Annapurna Labs가 NVLink Fusion을 둘러싼 폭넓은 NVIDIA 협력의 일환으로 NVHBM 작업에 처음으로 참여합니다.
AWS와 NVIDIA, NVLink Fusion 협력을 이어가다
Amazon의 Annapurna Labs는 AI 워크로드의 성능과 효율을 높이기 위해 NVIDIA와 함께 NVHBM 기술과 NVLink 스케일업 아키텍처를 개발하게 되었습니다.
이는 AWS가 앞서 발표한 NVLink Fusion 지원을 토대로 합니다. Annapurna Labs는 Trainium4를 시작으로 차세대 Trainium 칩에서 NVLink Fusion을 지원할 예정이며, 이를 통해 Amazon의 칩과 NVIDIA GPU가 공통의 랙 스케일 아키텍처에서 함께 작동할 수 있게 됩니다.
Amazon의 Annapurna Labs 부사장 Nafea Bshara는 “NVHBM은 고대역폭 메모리의 성능과 효율을 끌어올리는 새로운 아키텍처 접근법”이라며 “이번 기술 협력이 향후 AWS 인프라 설계에 도움이 되기를 기대합니다”고 말했습니다.
수직으로 통합하고, 수평으로 개방하다
NVLink Fusion은 파트너가 맞춤형 XPU와 CPU를 NVIDIA의 랙 스케일 플랫폼에 연결할 수 있게 하는데요,
파트너는 NVIDIA NVLink 칩렛(chiplet)과 NVLink-C2C, NVLink 스위치, NVIDIA MGX 시스템 및 랙은 물론, CPU 파트너와 ASIC 설계사, 시스템 제조사, 기술 공급사로 이뤄진 폭넓은 생태계를 활용할 수 있습니다.
NVIDIA 랙 스케일 시스템 아키텍처의 매 세대와 함께 제공되는 NVLink Fusion 덕분에, 하이퍼스케일러와 AI 네이티브 기업은 검증된 기술 스택으로 스케일업·스케일아웃 네트워킹과 랙 스케일 시스템, 소프트웨어를 해결하면서 엔지니어링 자원은 XPU 혁신에 집중할 수 있습니다. 세미 커스텀 AI 인프라를 더 빠르게, 더 낮은 리스크로 배포하는 길입니다.
NVLink와 NVLink Fusion에 대해 자세히 알아보세요.