모듈형 레퍼런스 아키텍처인 NVIDIA BlueField-4® STX를 공개합니다! 엔터프라이즈, 클라우드, AI 제공업체는 이를 통해 에이전틱 AI에 필요한 긴 컨텍스트 추론을 지원하는 가속 스토리지 인프라를 손쉽게 구축할 수 있습니다.
기존 데이터센터는 대용량 범용 스토리지를 제공하지만, 여러 단계와 도구, 세션에 걸쳐 작동하는 AI 에이전트를 지원하기에는 응답성이 부족했는데요. 에이전틱 AI는 대화와 작업을 빠르고 일관되게 유지하기 위해 데이터에 대한 실시간 접근과 컨텍스트 기반 작업 메모리를 요구합니다. 컨텍스트 규모가 커질수록, 기존 스토리지와 데이터 경로는 AI 추론 속도와 GPU 활용도를 저하시킬 수 있는 것이죠.
NVIDIA STX는 스토리지 제공업체가 대규모 환경에서도 데이터에 신속히 접근 가능한 인프라를 구축할 수 있도록 지원합니다. 이를 통해 에이전틱 AI 팩토리 환경에서 추론, 훈련, 분석 전반에서 더욱 향상된 처리량과 응답성을 제공할 수 있죠.
최초의 랙 스케일 구현에는 새로운 NVIDIA CMX™ 컨텍스트 메모리 스토리지 플랫폼이 포함됩니다. 이는 확장 가능한 추론과 에이전틱 시스템을 위해 고성능 컨텍스트 레이어를 통한 GPU 메모리 확장을 제공합니다. 따라서 기존 스토리지 대비 초당 최대 5배의 토큰 처리량을 구현합니다.
NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “에이전틱 AI는 소프트웨어가 수행할 수 있는 일을 재정의하고 있습니다. 이를 뒷받침하는 컴퓨팅 인프라 또한 그 속도에 맞춰 새롭게 설계돼야 하는데요. 방대한 컨텍스트를 기반으로 추론하고, 지속적으로 학습하는 AI 시스템을 위해서는 새로운 유형의 스토리지가 필요합니다. NVIDIA STX는 스토리지 스택을 새롭게 정의해 AI 네이티브 인프라를 위한 모듈형 기반을 제공하고, AI 팩토리가 최고 성능으로 작동할 수 있도록 지원합니다”라고 말했습니다.
STX는 NVIDIA Vera Rubin 플랫폼을 기반으로 가속화되며, NVIDIA Vera CPU와 NVIDIA ConnectX®-9 SuperNIC를 결합한 새로운 스토리지 전용 NVIDIA BlueField-4 프로세서를 기반으로 합니다. 여기에 NVIDIA Spectrum-X™ 이더넷 네트워킹, NVIDIA DOCA™, NVIDIA AI Enterprise 소프트웨어가 함께 제공됩니다.
또한 STX 아키텍처는 고성능 스토리지 환경에서 기존 CPU 아키텍처 대비 최대 4배 높은 에너지 효율을 제공하며, 엔터프라이즈 AI 데이터의 경우 초당 2배 더 많은 페이지를 처리할 수 있습니다.
NVIDIA STX 기반 차세대 AI 인프라 공동 설계에 참여하는 스토리지 제공업체는 클라우디안(Cloudian), DDN, 델 테크놀로지스(Dell Technologies), 에버퓨어(Everpure), 히타치 밴타라(Hitachi Vantara), HPE, IBM, 민아이오(MinIO), 넷앱(NetApp), 뉴타닉스(Nutanix), 바스트 데이터(VAST Data), 웨카(WEKA) 등이 있습니다.
STX 기반 시스템을 구축하는 제조 파트너사로는 AIC, 슈퍼마이크로(Supermicro), 콴타 클라우드 테크놀로지(Quanta Cloud Technology, QCT) 등이 있습니다.
컨텍스트 메모리 스토리지를 위해 STX를 도입할 계획인 주요 AI 연구소와 클라우드 서비스 제공업체로는 코어위브(CoreWeave), 크루소(Crusoe), 아이렌(IREN), 람다(Lambda), 미스트랄 AI(Mistral AI), 네비우스(Nebius), OCI, 벌처(Vultr) 등이 있습니다.
STX 기반 플랫폼은 올해 하반기부터 파트너사들을 통해 제공될 예정입니다.