실리콘밸리의 무더운 8월 저녁, 해가 지고 에어컨 부하가 치솟자 Silicon Valley Power는 한 AI 팩토리에 전력 소비를 조정하라는 신호를 보냈습니다.
Varun Sivaram은 마흔 명 남짓한 사람들과 함께 Zoom으로 이를 지켜보고 있었습니다. 샌프란시스코 회의실에 모인 Emerald AI 팀, 데이터센터의 엔지니어들, 그리고 전력 회사 관계자들이었죠. 아무도 손 하나 대지 않았습니다.
NVIDIA 파트너 Emerald AI의 전력망 오케스트레이션 플랫폼 Conductor는 NVIDIA DSX Flex가 구현하려는 유연성을 일찌감치 보여 주는 사례인데요. 전력망 상황에 관한 신호를 받아 데이터센터의 유연한 컴퓨팅 워크로드를 조정합니다. 미뤄도 되는 작업은 속도를 늦추거나 일정을 다시 잡고, 우선순위가 높은 서비스는 그대로 돌아가죠.
목표는 핵심 AI 워크로드를 끊지 않으면서 전력망이 빠듯할 때 전기 수요를 줄이는 것입니다. Silicon Valley Power에 정확히 필요했던 것이기도 하고요.
화면에 사용량 감소가 나타나자 모두가 환호했습니다.
Sivaram은 “저희는 숨을 죽이고 지켜보고 있었습니다. 수천 개의 NVIDIA GPU에 걸쳐 배포한 것은 이번이 처음이었습니다”라고 말했습니다. 제품 총괄 Mansi Shah는 감격한 표정으로 “이건 꼭 SpaceX 로켓 발사 같습니다”라고 말했죠.
Silicon Valley Power는 이후 그 AI 팩토리에 200건이 넘는 수요 신호를 보냈습니다. 매번 빠짐없이 작동했죠.
Silicon Valley Power의 수요 신호가 팩토리 현장에 도달하는 순간을 샌프란시스코의 Emerald AI 팀이 지켜보고 있다. 우선순위가 높은 작업은 모두 그대로 돌아가는 가운데 전력이 4메가와트에서 3메가와트로 자동으로 내려갔다.
이것이 실제 운영 중인 전력망 유연성입니다. 그리고 이는 산타클라라의 시설 한 곳을 훨씬 넘어서는 이야기를 가리키는데요. 새 송전선을 짓느라 10년을 기다리지 않고도 미국 AI 팩토리에 필요한 전력을 풀어낼 길 말이죠.
화요일 AI Infra Summit에서 NVIDIA 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장 Ian Buck은 인프라 키노트의 중심에 AI 팩토리 효율성을 놓았습니다.
같은 날 공개된 클라우드 사업자 Lambda의 첫 배포 환경 검증 결과가 여기에 숫자를 붙여 줬습니다. 전력 예산이 고정돼 있어도 똑똑하게 관리하면 토큰 처리량을 24% 더 낼 수 있다는 것이죠.
Lambda 클라우드 서비스 부문 사장 Dave Ward는 “이번 개념 증명으로 저희는 고정된 전력 예산이라는 한계를 넘어섰다고 봅니다. NVIDIA DSX MaxLPS는 묶여 있던 용량을 되찾아 실제 활용으로 바꾸고, 같은 면적에서 훨씬 높은 컴퓨팅 밀도를 구현할 길을 열어 줍니다”라고 말했습니다.
그 8월 저녁, Silicon Valley Power가 신호를 보내자 Conductor는 미리 정해 둔 워크로드 우선순위에 따라 실행에 들어갔습니다. 우선순위가 가장 낮은 작업이 자리를 내주고, 우선순위가 높은 추론은 계속 돌아갔으며, 전력은 4메가와트에서 3메가와트로 떨어졌죠. 모두 자동이었고, 운영자는 필요하지 않았습니다.
AI 팩토리 경제에서는 전력이 곧 제약입니다. 기가와트당 해내는 작업량이 곧 잣대죠. 데이터센터 운영자들은 효율에 관한 한 집요합니다. 일하게 만든 1와트는 곧 생산적인 컴퓨팅으로 돌아오는 1와트이기 때문인데요. 업계는 시설 설계부터 랙 단위 전력 변환에 이르기까지 스택의 모든 계층에서 놀라운 성과를 만들어 왔습니다.
DSX는 이 원칙을 AI 워크로드 자체로 확장합니다. 더 똑똑한 랙 프로비저닝은 워크로드가 실제로 필요로 하는 곳에 전력을 배치하고, 더 촘촘한 스케줄링과 빠른 재시작, 가벼운 체크포인팅 같은 운영 지능은 GPU가 기다리지 않고 계속 일하게 만들죠. 목표는 운영자들이 늘 좇아 온 바로 그것, 즉 가진 전력으로 더 많은 일을 해내는 것입니다.
NVIDIA 창립자 겸 CEO 젠슨 황은 “1기가와트 팩토리가 2기가와트 팩토리가 되는 일은 결코 없습니다”라고 말한 바 있습니다.
시스템이 물리적 한계에 부딪혔을 때 엔지니어들이 내놓는 답은 늘 같습니다. 부분을 최적화하는 일을 멈추고 전체를 설계하기 시작하라는 것이죠.
지난 5월 GTC 타이베이에서 공개된 NVIDIA DSX가 바로 AI 팩토리를 위한 그 답이며, 초기 배포 사례들이 이미 이를 입증하고 있습니다.
전체 플랫폼은 네트워킹과 냉각, 물 효율, 시설 설계까지 아우르는데요. 아래 내용은 그중 전력 관리와 전력망 참여 분야에서 지금까지 나온 성과에 초점을 맞췄습니다.
같은 예산으로 더 많은 컴퓨팅: DSX MaxLPS
AI Infra Summit에서 공개된 Lambda의 결과는 NVIDIA HGX B200 GPU 서버에서 DSX MaxLPS를 처음으로 검증한 사례입니다.
DSX MaxLPS는 GPU와 랙 단위의 전력 소비를 모니터링하면서 워크로드 유형에 따라 노드 사이로 여유 전력을 재배분하고, 정적 프로비저닝이었다면 묶여 있었을 용량을 되찾아 옵니다. 학습과 추론은 전력을 쓰는 방식이 서로 다르기 때문에, MaxLPS는 두 작업이 함께 돌아가는 AI 팩토리에서 배분을 최적화하죠.
AI 네이티브 스타트업부터 하이퍼스케일러까지 1만 곳이 넘는 고객을 지원하는 GPU 클라우드 사업자 Lambda는 5개 랙, 19개 노드 클러스터에서 이 소프트웨어를 돌렸습니다.
결과는 이랬습니다. 풀파워 노드 16개와 같은 전력 예산 안에서 노드 19개를 구동해 클러스터 전체 토큰 처리량을 24% 끌어올린 것인데요. 초당 약 400만 개에서 500만 개로 늘었고, 와트당 성능도 23% 개선됐습니다.
NVIDIA의 예측에 따르면 DSX MaxLPS는 적합한 배포 환경에서 차세대 Vera Rubin NVL72 AI 팩토리가 같은 메가와트 전력 예산으로 GPU 용량을 최대 40%까지 더 확보하게 해 줍니다.
실제 운영에서 입증된 자동 수요 반응
산타클라라 이야기는 DSX Flex를 설치한 사례가 아닙니다. 그보다 앞선, 그리고 더 중요한 이야기죠. 이 개념이 상용 규모에서 통한다는 증거이기 때문입니다.
NVIDIA의 Eos AI 팩토리는 Emerald AI Conductor를 운영하며 Silicon Valley Power의 Flexible Load Interconnect Program에 참여하고 있습니다. AI 팩토리를 급전 가능한(dispatchable) 자원으로 다루도록 설계된 첫 상용 전력 회사 프로그램이죠.
Silicon Valley Power가 신호를 보내면 Conductor는 1분 안에 응답합니다. 유연하게 움직일 준비가 된 팩토리가 더 크게 돌아갈 수 있는 셈이죠.
DSX Flex는 바로 이 패턴을 일반화하기 위해 만들어졌습니다. 플랫폼이 성숙해지면서 Emerald AI Conductor도 DSX Flex에 통합될 예정인데요. DSX Flex를 전담으로 적용하는 첫 상용 배포는 버지니아주 매너서스(Manassas) 시설이 됩니다. NVIDIA AI 팩토리 리서치 센터에 들어서는 96메가와트급 Vera Rubin AI 팩토리로, 두 개 대륙에서 진행한 다섯 차례의 사전 실증 위에 세워지죠.
다음 전력 아키텍처 계층: 800V DC 전력 아키텍처
오늘날 AI 팩토리 안에서 얻는 개선은 실재하고 지금 바로 적용할 수 있습니다. 다음 단계는 더 조밀해지는 가속 컴퓨팅 랙에 전력을 어떻게 공급하느냐죠.
AI 팩토리가 커질수록 기존의 저전압 전력 경로는 변환 복잡성과 배전 제약을 더합니다.
NVIDIA의 800VDC 아키텍처는 변환 복잡성을 줄이고 전력 공급 효율을 높이며 더 조밀한 가속 컴퓨팅 랙을 지원하도록 설계됐습니다.
NVIDIA DSX는 이 800V DC를 레퍼런스 디자인에 반영하고 있죠.
부분이 아니라 팩토리 전체
어떤 단일 부품도 혼자서 AI 팩토리를 최적화할 수는 없습니다. 더 빠른 GPU도 결국 네트워크를 기다리고, 잘못된 프로비저닝은 전력을 묶어 두죠. 냉각에 드는 부담 역시 GPU로 갈 전기를 가져갑니다. 직접 액체 냉각을 쓰는 GB200 NVL72 랙은 그 전력이 컴퓨팅에 닿기 전에 약 120kW의 열을 어딘가로 내보내야 합니다.
메가와트당 토큰을 늘리는 유일하게 확실한 길은 팩토리 전체를 최적화하는 것입니다. 첫 랙을 들이기 전에는 DSX Sim으로, 가동에 들어간 뒤에는 DSX OS와 DSX Exchange로, 그리고 구축자가 맨땅에서 시작하지 않도록 검증된 아키텍처를 제공하는 DSX 레퍼런스 디자인으로 말이죠. (DSX 제품군 전체는 사이드바를 참고하세요.)
기가와트 인프라의 기준
결국 모든 것은 한 가지 질문으로 모입니다. 이 팩토리는 소비한 메가와트당 얼마나 쓸모 있는 일을 해내는가?
NVIDIA DSX는 인프라 구축 기업에 이 잣대로 경쟁할 수 있는 레퍼런스 디자인과 시뮬레이션 도구, 운영 소프트웨어, 전력 관리 기술을 제공합니다. 지금의 하드웨어에서도, 다음 세대에서도 마찬가지죠.
전력망에 여유가 필요했을 때 그 팩토리는 작업 하나 떨구지 않고, 전력을 더 달라고 하지도 않으면서 여유를 내줬습니다.
NVIDIA DSX와 함께라면, 이것이 AI 팩토리가 마땅히 해내야 할 일의 새로운 기준입니다.