풀스택 NVIDIA BlueField 플랫폼의 일환인 ‘NVIDIA BlueField-4 데이터 프로세서’를 소개합니다! BlueField-4는 차세대 AI의 새로운 지평을 열 AI 네이티브 스토리지 인프라, ‘NVIDIA 추론 컨텍스트 메모리 스토리지 플랫폼(Inference Context Memory Storage Platform)’을 구현합니다.
AI 모델이 수조 개의 파라미터와 다단계 추론으로 확장되면서, 방대한 양의 컨텍스트 데이터가 생성되고 있는데요. 이러한 데이터는 정확성, 사용자 경험, 연속성을 좌우하는 키-밸류(key-value, KV) 캐시로 표현됩니다.
KV 캐시는 다중 에이전트 시스템에서 실시간 추론에 병목 현상을 유발하므로 GPU에 장기간 저장될 수 없습니다. 따라서 AI 네이티브 애플리케이션은 이러한 데이터를 저장하고 공유할 수 있는 새로운 형태의 확장형 인프라가 필요합니다.
NVIDIA 추론 컨텍스트 메모리 스토리지 플랫폼은 GPU 메모리 용량을 확장해 컨텍스트 메모리를 위한 인프라를 제공하며, 노드 간 고속 공유를 가능하게 합니다. 이를 통해 초당 토큰 처리량을 최대 5배까지 향상시키고, 기존 스토리지 대비 최대 5배 높은 전력 효율을 제공하죠.
NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “컴퓨팅 스택 전체를 혁신하는 AI는 이제 스토리지까지 변화시키고 있습니다. AI는 더 이상 단순 챗봇에 국한되지 않으며, 지능형 협업자로 진화하고 있죠. 즉, 물리적 세계를 이해하고, 장기적 관점에서 추론하며, 사실에 기반해 사고할 수 있습니다. 또한 도구를 활용해 실제 업무를 수행하며, 장단기 메모리를 모두 유지할 수 있습니다. NVIDIA와 소프트웨어, 하드웨어 파트너들은 BlueField-4를 통해 차세대 AI를 위한 스토리지 스택을 재정의하고 있습니다”고 말했습니다.
NVIDIA 추론 컨텍스트 메모리 스토리지 플랫폼은 KV 캐시 용량을 확대하고 랙 스케일 AI 시스템 클러스터 전반에서 컨텍스트 공유를 가속합니다. 또한 멀티턴(multi-turn) AI 에이전트를 위한 지속적인 컨텍스트를 통해 반응성을 개선하고, AI 팩토리 처리량을 증가시키며, 장문 컨텍스트 다중 에이전트 추론의 효율적인 확장을 지원하죠.
NVIDIA BlueField-4 기반 플랫폼의 주요 기능은 다음과 같습니다.
- NVIDIA Rubin 클러스터 수준의 KV 캐시 용량으로, 장문 컨텍스트 멀티턴 에이전틱 추론에 필요한 규모와 효율성을 제공합니다.
- 기존 스토리지 대비 최대 5배 향상된 전력 효율을 제공합니다.
- NVIDIA DOCA™ 프레임워크를 기반으로 NVIDIA NIXL 라이브러리, NVIDIA Dynamo 소프트웨어와 긴밀하게 통합된 지능형 가속 KV 캐시 공유를 통해 AI 노드 간 고속 공유를 구현합니다. 이를 통해 초당 토큰 처리량을 극대화하고 첫 토큰까지의 시간을 단축하며 멀티턴 반응성을 향상시킵니다.
- NVIDIA BlueField-4가 관리하는 하드웨어 가속 KV 캐시 배치를 통해 메타데이터 오버헤드를 제거하고, 데이터 이동을 최소화하며, GPU 노드로부터 분리된 안전한 접근을 보장합니다.
- RDMA 기반 AI 네이티브 KV 캐시 접근을 위한 고성능 네트워크 패브릭 역할을 하는 NVIDIA Spectrum-X™ 이더넷을 활용해 효율적인 데이터 공유와 검색을 지원합니다.
BlueField-4를 기반으로 조기에 차세대 AI 스토리지 플랫폼을 구축하는 스토리지 혁신 기업으로는 AIC, 클라우디안(Cloudian), DDN, 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), 히타치 밴타라(Hitachi Vantara), IBM, 뉴타닉스(Nutanix), 퓨어스토리지(Pure Storage), 슈퍼마이크로(Supermicro), 바스트 데이터(VAST Data), 웨카(WEKA) 등이 있습니다. BlueField-4는 2026년 하반기에 출시될 예정입니다.
자세한 내용은 NVIDIA Live at CES를 통해 확인할 수 있습니다.