OpenRouter 데이터에 따르면, 에이전틱 AI 워크로드는 단순한 채팅 요청보다 15배 많은 토큰을 소비합니다.
AI 에이전트가 투자 결정을 위해 한 기업을 조사하는 상황을 예로 들어보죠. 에이전트는 금융 데이터베이스를 조회하고 뉴스와 공시 자료를 검색하며, 하위 에이전트(sub-agent)를 호출해 동종 기업 비교와 기업가치 모델링을 수행한 뒤 모든 결과를 종합해 투자 의견을 제시합니다. 에이전트와 하위 에이전트는 작업이 완료될 때까지 지속적으로 추론하기 때문에 토큰 수요도 증가합니다. 각 단계에서 누적된 토큰은 다음 단계의 입력으로 이어지므로, 긴 컨텍스트를 효율적으로 처리하는 능력이 에이전틱 AI 성능의 핵심 요소가 됩니다.
이러한 패턴은 소프트웨어 개발부터 고객 서비스, 심층 연구에 이르기까지 모든 에이전틱 AI 활용 사례에서 동일하게 나타납니다.
에이전틱 AI가 다양한 산업에서 실제 운영 환경에 도입되면서, 이를 구동하는 인프라는 급증하는 토큰 수요를 효율적으로 처리해야 합니다.
새롭게 측정된 성능 데이터에 따르면 NVIDIA Vera Rubin NVL72 시스템은 에이전틱 워크로드에서 NVIDIA GB300 NVL72 대비 메가와트당 처리량을 최대 30배 높입니다. 실제 에이전틱 코딩 세션을 기록한 SemiAnalysis AgentX 워크로드를 사용해 추론 처리량이 측정됐으며, 실제 컨텍스트 증가와 툴 호출, 하위 에이전트 생성 과정까지 그대로 반영됐는데요. 전력 제약이 있는 AI 팩토리에서는 동일한 전력으로 최대 30배 더 많은 에이전틱 AI 작업을 처리할 수 있다는 의미입니다.
Vera Rubin NVL72의 이러한 초기 결과는 NVIDIA의 엄청난 혁신 속도를 보여주죠. 지속적인 소프트웨어 최적화를 통해 Vera Rubin NVL72와 GB300 NVL72 모두 성능이 계속 향상될 예정입니다.
Vera Rubin NVL72, 메가와트당 처리량 최대 30배 향상·토큰 비용 최대 35배 절감
에이전틱 워크로드는 일반적으로 입출력 시퀀스가 1,000~8,000개 토큰 수준인 채팅이나 문서 요약과 근본적으로 다른데요. 에이전틱 세션에서는 여러 단계에 걸쳐 컨텍스트가 누적되며, 입력 토큰 수가 수십만 개에 이를 수 있습니다. 또한 요청마다 입력과 출력 길이의 편차도 크죠. 따라서 성능 측정 방식 역시 단일 추론 요청이 아닌 에이전트의 전체 워크플로우를 반영할 수 있도록 발전해야 합니다.
아래 결과는 실제 에이전틱 코딩 작업 경로를 기반으로 측정한 성능을 보여줍니다.
SemiAnalysis AgentX에서 NVIDIA Blackwell 플랫폼은 Kimi K3, MiniMax M3, GLM5.3, Qwen3.5, DeepSeek V4 Pro 등 다양한 에이전틱 모델에서 업계 최고 수준의 성능을 제공합니다.
예를 들어 GB300 NVL72는 DeepSeek V4 Pro 모델에서 NVIDIA Hopper 아키텍처 대비 메가와트당 처리량을 최대 15배 높여, 에이전틱 워크로드를 실행하기 위한 고성능 기반을 제공합니다. 이러한 성능 향상은 더 큰 스케일업 GPU 도메인과 공동 설계된 소프트웨어를 통해 추론 효율을 크게 높이는 NVIDIA 플랫폼의 강점을 보여줍니다.
Vera Rubin은 이러한 이점을 한층 확대해 전체 파레토 곡선(Pareto curve)에서 성능을 높이며, DeepSeek V4 Pro 모델에서 GB300 NVL72 대비 메가와트당 최대 30배 높은 처리량을 제공합니다. SemiAnalysis AgentX 워크로드를 사용해 측정한 이번 초기 결과는 현재 SemiAnalysis의 검토를 기다리고 있으며, 툴 호출 시 Vera CPU의 성능은 아직 반영되지 않았습니다.
NVIDIA DSX MaxLPS 기술은 GPU, 랙, 워크로드 수준에서 전력을 관리해 동일한 메가와트급 전력 예산 내에서 최대 40% 더 많은 GPU를 배치할 수 있도록 합니다. 이를 통해 AI 팩토리 규모에서 메가와트당 처리량을 더욱 높입니다.
메가와트당 처리량은 생성되는 각 토큰의 비용에도 직접적인 영향을 미칩니다. Vera Rubin NVL72는 GB300 NVL72 대비 100만 토큰당 비용을 최대 35배 낮춰, 다양한 고객 워크로드에서 AI 에이전트를 대규모로 지속 운영할 수 있도록 합니다.
전력 제약이 있는 AI 팩토리에서는 메가와트당 처리량이 AI 팩토리의 매출을 좌우하며, 100만 토큰당 비용은 해당 매출에서 얻을 수 있는 수익성을 결정합니다.
에이전틱 AI 규모 확장을 위한 극한의 공동 설계
현대적인 추론 최적화에는 에이전틱 AI에서 특히 중요한 다양한 기술이 활용되는데요. NVIDIA Vera Rubin NVL72는 플랫폼의 모든 계층에 걸친 극한의 공동 설계를 통해 이러한 기술을 비롯한 다양한 최적화를 지원하며, 여러 배의 성능 향상을 제공합니다.
- 분리형 서빙(Disaggregated serving)은 컨텍스트 처리인 프리필(prefill)과 응답 생성인 디코드(decode)를 분리해 각각 독립적으로 확장할 수 있도록 합니다.
- 레이트 매칭(Rate matching)은 프리필 GPU와 디코드 GPU가 토큰을 생성하는 속도를 동기화해 효율을 극대화합니다.
- 대규모 전문가 병렬화(Large-scale expert parallelism)는 전문가 혼합(Mixture-of-Experts, MoE) 모델의 전문가 서브네트워크를 스케일업 GPU 도메인 전반에 분산합니다.
- 분산 KV 캐싱(Distributed KV-caching)은 스케일업 GPU 도메인 전반으로 메모리를 확장합니다. KV 캐시 오프로딩(KV-cache offloading)은 사용 빈도가 낮은 컨텍스트를 호스트와 스토리지로 계층화해, 이미 처리된 컨텍스트를 재연산 없이 계속 활용할 수 있도록 합니다.
- KV 인식 라우팅(KV-aware routing)은 관련 캐시 컨텍스트를 이미 보유하고 있는 GPU로 들어오는 요청을 전달해 긴 세션에서 불필요한 중복 연산을 줄입니다.
- 메가MoE(MegaMoE)와 같은 융합 CUDA 커널은 다수의 연산과 GPU 간 통신 작업을 하나의 실행 단계로 결합해 GPU가 데이터를 기다리지 않고 지속적으로 작업할 수 있도록 합니다.
NVIDIA Rubin GPU에 탑재된 향상된 5세대 Tensor Core와 3세대 Transformer Engine은 추론의 프리필과 디코드 단계를 모두 가속합니다. NVFP4 양자화는 모델 가중치를 4비트 정밀도로 압축해 출력 품질 저하 없이 메모리 사용량을 줄이고 처리량을 높입니다.
NVL72 스케일업 도메인은 Vera Rubin과 Grace Blackwell을 대표하는 핵심 아키텍처로, 대규모 전문가 병렬화와 분산 KV 캐싱 같은 기술에 필수적인 고대역폭·저지연 GPU 간 통신을 지원하는데요. 이 스케일업 도메인을 구동하도록 특수 설계된 NVIDIA NVLink 인터커넥트 기술과 NVLink 스위치는 현재 6세대에 이르렀으며, 범용 Ethernet 대안 대비 10배 높은 패킷 처리율과 3배 낮은 지연 시간을 제공합니다.
NVIDIA 소프트웨어 스택은 최적화된 CUDA 커널부터 NVIDIA TensorRT LLM과 같은 추론 런타임, NVIDIA Dynamo와 같은 서빙 프레임워크에 이르기까지 하드웨어와 공동 설계돼 다양한 추론 최적화를 구현하죠.
위 결과는 현재 Vera Rubin NVL72의 성능을 보여주지만, 전체 플랫폼은 NVIDIA Vera CPU, Groq 3 LPU, NVLink 6 스위치, BlueField-4 DPU, Spectrum-6 SPX, ConnectX-9 SuperNIC를 포함하는 7칩 아키텍처로 구성됩니다. 모든 칩은 AI 에이전트를 대규모로 구축하는 AI 팩토리를 위해 특수 설계됐습니다.
이러한 극한의 공동 설계는 NVIDIA와 파트너의 공동 엔지니어링까지 확장됩니다. Vera Rubin은 현재 본격적으로 양산되고 있으며 생태계 전반으로 확장되고 있습니다.
NVIDIA Vera Rubin 플랫폼에 대한 자세한 내용을 확인해 보세요.