대규모 단일 스레드 최대 성능 CPU는 에이전트 기반 AI 시대를 위해 설계된 새로운 CPU 카테고리입니다.
에이전틱 시스템의 구축과 배포 전 과정에서 CPU는 추론, 응답 시간, 학습의 핵심 경로에 있는데요, CPU는 AI 모델이 명령하는 작업을 실행하는 프로세서입니다. 도구 호출, 코드 실행, 데이터 처리, KV 캐시, 결과 분석이 모두 이에 해당하죠.
AI 팩토리에서 에이전트를 운용할 때, 속도가 중요합니다.
CPU가 도구를 더 빠르게 실행할수록 에이전트는 당면한 작업을 더 빠르게 수행할 수 있습니다.
AI 팩토리에서 GPU 활용률은 데이터 센터에서 가장 가치 있는 자원입니다. 따라서 작업 완료를 기다리는 모든 시간은 AI 팩토리의 수익을 제한하며, 더 나쁘게는 CPU가 작업을 마칠 때까지 기다리는 GPU 활용률에 영향을 미칩니다. AI 팩토리에는 AI 팩토리 수익과 에이전트 성능을 극대화하기 위해 단일 스레드 최대 성능을 갖춘 CPU가 필요합니다.
특히 현재의 대다수의 데이터 센터 CPU들은 대규모 환경에서의 속도를 위해 설계되지 않았습니다.
PC와 워크스테이션용 고성능 CPU가 존재하지만, 데이터 센터 CPU는 단일 스레드 성능과는 거리가 먼 방향으로 발전해왔습니다. 대신 클라우드의 등장으로 CPU 제조사들은 성능을 희생하면서 비용을 최소화하는 방향으로 코어 수를 늘린 CPU를 만들어왔죠.
임대 가능한 코어당 비용을 최적화하는 CPU를 만들기 위해 칩당 코어 수를 늘리면서, 고성능 메모리 패브릭, 코어당 더 빠른 명령어 처리 등 코어를 빠르게 만드는 실리콘 면적을 줄였습니다. 칩렛(chiplet) 아키텍처로의 전환은 비용을 더욱 낮췄지만, 각 CPU의 코어가 더 이상 칩 전체의 메모리 성능에 접근할 수 없게 되는 “칩렛 세금(chiplet tax)”을 만들어냈습니다.
그렇지만 AI 에이전트에는 대규모 환경에서 단일 스레드 최대 성능을 위해 설계된 CPU가 필요합니다.
대규모 단일 스레드 최대 성능 CPU는 시스템이 최대 부하 상태에서도 각 에이전트 단계를 빠르게 유지합니다. 모든 코어가 다른 코어의 속도를 저하시키지 않으면서 전체 성능으로 에이전트 작업을 완료합니다. 대규모 단일 스레드 최대 성능 CPU는 다음을 제공하도록 다르게 설계됩니다:
- 부하 상태에서 강력한 코어당 성능
- 활성 코어에 데이터를 공급하기에 충분한 코어당 메모리 대역폭
- 예측 가능한 지연 시간
모든 코어는 다른 코어의 방해 없이 자신의 작업을 완료할 수 있어, 우수한 처리량과 더불어 가장 중요한 최대한 빠른 단일 코어 작업 성능을 제공합니다.
NVIDIA Vera는 이 새로운 CPU 설계 범주를 대표합니다.
대규모 단일 스레드 최대 성능 CPU가 에이전트 루프를 실행하도록 설계된 방법
AI 에이전트는 단일 요청 후 작동을 멈추지 않습니다. 루프로 작동하죠. 그리고 모델이 다음 단계를 추론합니다. CPU가 모델 주변의 작업을 실행합니다. 결과가 돌아옵니다. 모델이 다음에 무엇을 할지 결정합니다. 그런 다음 루프가 다시 실행됩니다.
이 패턴은 기존 CPU가 최적화되지 않은 수요 프로필을 만들어냅니다. 기존 CPU 작업은 사람이 트리거하는 짧은 상호작용으로 구성된 간헐적이고 사용자 주도적인 방식입니다. 에이전트 작업은 지속적이고 병렬적입니다. 에이전트 무리가 지속적으로 실행되며, 각 에이전트는 이전 결과에 의존하는 일련의 단계들을 거쳐 진행됩니다.
CPU의 더 많은 코어는 CPU당 더 많은 에이전트 작업을 의미하며, 데이터 센터 CPU는 작업 처리량을 극대화하기 위해 많은 코어가 필요합니다.
그러나 CPU에 코어를 추가하는 것은 단일 에이전트 루프 내 각 단계의 시간을 단축할 수 없습니다. 더 많은 코어는 어떤 하나의 작업도 더 빠르게 만들 수 없죠. 실제로 코어 수 극대화를 위해 설계된 CPU는 자원 경쟁으로 인해 각 코어의 성능을 오히려 저하시킬 수 있습니다.
개별 코어당 성능은 각 단계 완료 속도를 이끌어내는 데 중요합니다. 추가 코어의 처리량은 유용하지만 충분하지 않습니다. 그리고 각 액션은 이전 결과에 의존하기 때문에, 코어당 속도가 루프 진행 속도를 결정합니다.
결국, 최고의 에이전트 CPU는 코어당 최고의 단일 스레드 성능이 필요하며, 모든 코어가 타협 없이 그 성능을 발휘해야 합니다. 세상은 초 단위로 셉니다. 에이전트는 나노초 단위로 셉니다. NVIDIA Vera는 이 새로운 카테고리의 작업과 속도를 위해 설계되었습니다.
NVIDIA Vera: 에이전트를 위한 대규모 단일 스레드 최대 성능 CPU
NVIDIA Vera는 에이전트 루프를 위해 처음부터 설계된 대규모 단일 스레드 최대 성능 CPU입니다. 에이전트가 도구를 사용하고, 데이터를 처리하고, 코드를 실행하고, 결과를 확인하는 모델 호출 사이에 발생하는 작업을 위해 설계되었습니다.
Vera의 핵심에는 NVIDIA의 커스텀 CPU 코어인 Olympus가 있으며, NVIDIA Grace 대비 클럭당 명령어 수(IPC)를 50% 더 높게 제공합니다. 이는 많은 에이전트 단계가 순차적이기 때문에 중요합니다. 다음 모델 호출이 결과를 사용할 수 있으려면 도구 호출, 코드 실행, 테스트 실행 또는 데이터 처리 단계가 먼저 완료되어야 합니다. 더 빠른 코어는 각 루프를 더 빠르게 진행시킵니다.
Vera는 이 더 빠른 코어를 메모리 전력 40와트 미만에서 최대 1.2TB/s의 LPDDR5X 메모리 대역폭과 결합하며, 활성 코어가 데이터를 계속 공급받고 데이터 이동을 예측 가능하게 유지하는 모놀리식 컴퓨트 다이를 통해 다른 어떤 데이터 센터 CPU보다 3배 더 큰 3.4TB/s의 코어 간 대역폭을 제공합니다. 이를 통해 모든 88개 코어가 병목 현상 없이 CPU의 전체 메모리 성능을 활용하여 모든 코어의 속도를 저하시키지 않을 수 있습니다.
그 결과는 더 빠른 에이전트 루프입니다. 에이전트 실행을 나타내는 CPU 워크로드가 최대 부하 상태일 때, Vera는 x86 대비 1.8배의 코어당 지속 성능을 제공합니다.
이러한 성능 향상은 도구 호출, 코드 실행, 데이터 처리 단계, 검증 패스 전반에 걸쳐 복합적으로 작용하여, AI 팩토리가 이미 운용 중인 GPU로 더 많은 에이전트 작업을 완료하는 데 도움을 줍니다.
Perplexity는 매일 실행하는 에이전트 작업에서 Vera를 테스트했습니다. 저장소를 복제하고 샌드박스에서 테스트 스위트를 실행하는 실제 코딩 워크플로우를 실행했을 때, Vera는 x86보다 약 1.5배 빠르게 작업을 완료했으며, 동시 샌드박스 시작은 최대 1.9배 빠르게 실행되었습니다. Perplexity는 현재 곧 출시될 프로덕션 시스템에 Vera를 배포할 계획을 검토 중입니다.
에이전트는 데이터에도 의존합니다. 에이전트는 끊임없이 정보를 쿼리하고, 검색하고, 필터링하고, 이동하며, Vera는 이러한 CPU 사이드 데이터 워크로드를 더 빠르게 실행합니다. 파트너사들은 선도적인 x86 서버 CPU 대비 Starburst로 대규모 SQL 애널리틱스에서 3배 빠른 속도와 Redpanda로 실시간 스트리밍에서 최대 6배 낮은 지연을 측정했습니다.
에이전트 작업은 하나의 워크로드가 아닙니다. 에이전트는 도구와 샌드박스를 실행하고, 데이터를 처리하고, 요청을 처리하며, 강화 학습으로 다음 모델을 훈련시킵니다. 그리고 이 모든 것이 동일한 강점에 의존합니다.
Vera 하나가 각 종류의 작업에 다른 CPU를 필요로 하는 대신, 전체 범위를 처리합니다. 그리고 Vera가 NVIDIA Vera Rubin에서 GPU를 호스팅하는 동일한 CPU이며 NVIDIA BlueField-4 STX 스토리지 프로세서를 구동하기 때문에, 전체 AI 팩토리가 하나의 아키텍처와 하나의 툴체인으로 실행됩니다.
NVIDIA는 여기서 멈추지 않습니다. Rigel 코어를 탑재한 NVIDIA의 차세대 Rosa CPU는 에이전트 기반 AI 시대를 위한 회사의 CPU 로드맵을 이어갈 것입니다. Rigel은 NVIDIA의 차세대 Arm v9.2 CPU 코어로, 동일한 실리콘 면적을 유지하면서 Olympus보다 높은 코어당 성능을 제공합니다. 주요 개선 사항에는 더 나은 명령어 전달, 더 큰 L2 캐시, 더 효율적인 메모리 처리가 포함됩니다.
에이전트의 속도를 위해 설계된 CPU
에이전트 기반 AI 시대에는 수십억 개의 에이전트가 있을 것이며, 그 모두가 행동하고, 확인하고, 검색하고, 실행하고, 검증하기 위해 CPU를 이용할 것입니다. 이 새로운 시장에서 완료된 에이전트 작업이 곧 제품입니다. 더 빠른 에이전트 루프는 모든 GPU가 기다리는 시간을 줄이고 수익을 창출하는 작업에 더 많은 시간을 쓸 수 있도록 합니다.
NVIDIA Vera는 그 미래를 위해 설계된 CPU입니다. NVIDIA Vera CPU에 대해 자세히 알아보세요.