AI 팩토리가 메가와트급에서 기가와트급으로 커지면서, 이를 짓는 데는 앞선 컴퓨팅만으로 부족해졌습니다. 개방형 표준이 업계가 AI 인프라를 더 빠르고 효율적이며 안정적으로 확장하도록 돕고 있죠.
NVIDIA는 산호세 매케너리 컨벤션 센터에서 열린 Open Compute Project(OCP) 글로벌 서밋에서 차세대 AI 인프라의 공통 기반을 마련하기 위한 새로운 협력과 기여 내용을 발표했습니다.
NVIDIA는 개방형 NVIDIA MGX 아키텍처를 통해 핵심 NVIDIA Vera Rubin 랙과 컴퓨팅 트레이 설계를 OCP에 기여했습니다. 시스템 구축 기업이 차세대 AI 팩토리 인프라를 개발할 공통 기반을 갖게 된 것입니다.
이들 노력은 AI 팩토리 자체는 물론, 여기에 전력을 공급하는 전력망과 현대 가속 컴퓨팅의 심장부인 랙 스케일 아키텍처까지 아우릅니다.
NVIDIA와 파트너들, 개방형 아키텍처의 진전을 발표하다
NVIDIA와 파트너들은 OCP 행사에서 다음과 같은 발표를 내놨습니다.
- NVIDIA와 하이퍼스케일러들이 AI 팩토리 설계 표준과 전력망 복원력을 포함한 차세대 AI 팩토리 개방형 표준을 공개했습니다.
- NVIDIA가 NVIDIA DSX AI 팩토리를 위한 새로운 오픈 소스 소프트웨어 구성 요소를 선보였습니다.
- Meta와 NVIDIA가 NVIDIA Spectrum-X 이더넷 SuperNIC과 Spectrum-6 혁신으로 개방형 AI 네트워킹을 진전시켰습니다.
- Visionbay가 Vera Rubin 시대를 겨냥한 800V DC AI 팩토리 설계를 공개했습니다.
- NVIDIA와 Cisco가 400Gb/s 기반 네트워킹 패브릭을 위한 업계 최초의 모듈 규격인 USFP(Ultra-Dense Small Form Factor Pluggable)를 발표했습니다.
- NVIDIA와 Google이 향후 NVIDIA ConnectX-10 SuperNIC과 BlueField DPU에서 Falcon Transport를 지원한다고 발표했습니다.
NVIDIA 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장 Ian Buck은 자리를 가득 메운 청중 앞에서 개방형 인프라가 전 세계 AI 팩토리를 확장하는 데 어떻게 핵심 요소가 되고 있는지 설명했습니다.
이번 OCP 발표는 NVIDIA의 극한 코디자인이 개방형 표준과 맞물려 배포를 앞당기고 전력 효율을 높이며 와트당 토큰 성능을 끌어올리는 모습을 잘 보여 줍니다.
OCP MGX 랙 기여로 한 걸음 나아간 Vera Rubin AI 팩토리 🔗
NVIDIA는 OCP의 Open DC Initiative를 통해 3세대 MGX AI 데이터센터 레퍼런스 디자인에 업계 리더들과 함께 기여했습니다.
MQD와 MQDB 같은 개방형 액체 냉각 기술과 결합된 이번 작업은, 검증된 AI 팩토리 설계를 다른 기업도 도입하고 제조하고 확장할 수 있는 업계 표준으로 바꿔 놓는 데 보탬이 됩니다.
NVIDIA Vera Rubin AI 팩토리를 위해 갱신된 MGX 1.2 규격은 랙 스케일 블라인드 메이트 액체 냉각과 상호운용 가능한 랙 스케일 인터커넥트 인프라, 그리고 고출력 AI 시스템을 위해 설계된 액랭식 5,000A 버스바로 개방형 AI 팩토리 아키텍처를 확장합니다. 여기에 19인치 장비 기본 지원과 고밀도 랙 설계도 더해졌죠.
MGX 1.2는 구성 가능한 I/O 베이와 팬 없는 액랭식 컴퓨팅 트레이, 표준화된 전력·냉각 인터페이스, 그리고 생태계 파트너가 상호운용 가능한 가속 컴퓨팅 플랫폼을 만들도록 돕는 공통 인프라로 모듈성을 한층 넓혔습니다. 또한 조립과 테스트, 서비스 시간을 개선해 제조와 현장 서비스를 간소화하고, 인프라 구축을 더 빠르고 효율적으로 만들어 주죠. 이 아키텍처는 최대 250kW 랙 배포를 지원하면서도 정비성과 배포, 인프라 재활용을 더 단순하게 합니다.
Vera CPU 랙 설계 규격은 NVIDIA MGX 개방형 아키텍처를 가속 컴퓨팅 너머로 확장해, 커져 가는 에이전틱 AI 시대를 겨냥한 전용 플랫폼을 제공합니다. Vera Rubin NVL72가 대규모 학습과 추론의 토대 역할을 한다면, NVIDIA Vera CPU 랙은 도구 호출과 오케스트레이션, 샌드박스 실행을 뒷받침하도록 설계돼 AI 에이전트가 애플리케이션과 데이터, 서비스와 실시간으로 상호작용하도록 돕습니다.
3세대 NVIDIA MGX 랙 아키텍처 위에 세워진 Vera CPU 랙은 컴퓨팅과 네트워킹, 전력, 냉각을 하나의 공통 모듈형 플랫폼으로 묶는 동일한 랙 스케일 설계 원칙을 공유합니다. 덕분에 파트너는 공유 생태계와 간소화된 통합, 차세대 AI 팩토리를 위한 일관된 기반을 누리면서도 특화된 인프라를 배포할 수 있죠.
NVIDIA, DSX AI 팩토리를 위한 새로운 오픈 소스 소프트웨어 구성 요소 공개 🔗
NVIDIA DSX AI 팩토리 플랫폼은 극한 코디자인을 적용해 컴퓨팅과 네트워킹, 전력, 냉각, 시설, 소프트웨어를 하나로 묶습니다. AI 팩토리가 최적화된 단일 시스템처럼 작동하게 해, 주어진 인프라 제약 안에서 AI 산출물을 최대로 끌어내도록 돕죠. 이 통합 시스템의 중심에는 DSX 아키텍처를 대규모에서도 일관되고 반복 가능한 운영으로 바꿔 주는 개방형 운영 계층 DSX OS가 있습니다.
NVIDIA는 OCP에서 네트워크 구성과 클러스터 검증, 랙 관리, 베어메탈 프로비저닝을 위한 오픈 소스 구성 요소로 DSX OS를 확장했습니다.
- NVIDIA Config Manager: 스위치 구성을 대규모로 자동화해, 고객이 수작업을 최소화하거나 전혀 들이지 않고도 일관된 AI 팩토리 네트워크 패브릭을 배포하고 검증하고 유지하도록 합니다.
- NVIDIA Cluster Readiness Engine: 실제 워크로드 시뮬레이션으로 GPU 클러스터에 부하를 걸어 학습 시작 전에 하드웨어 상태를 보장함으로써, 값비싼 작업 중단을 없애는 데 도움을 줍니다.
- NVIDIA Rack Management Service: 랙을 하나의 독립된 관리 단위로 다루는 하드웨어 추상화와 운영 솔루션을 제공해, AI 팩토리 규모의 펌웨어 관리를 개선합니다.
- Cluster API Provider for NVIDIA Infrastructure Controller: 베어메탈 배포와 테넌트 온보딩을 앞당겨, 원시 AI 하드웨어를 며칠이 아닌 몇 시간 만에 운영 가능한 클러스터로 바꿔 놓습니다.
NVIDIA DGX Cloud를 운영하며 쌓은 경험에서 나온 이 오픈 소스 구성 요소들은, 클라우드 사업자와 소프트웨어 파트너가 AI 팩토리 역량을 자사 멀티테넌트 플랫폼에 직접 통합할 수 있게 해 줍니다.
개발자는 DSX AI Factory GitHub 페이지에서 NVIDIA DSX AI 팩토리 플랫폼의 신규·기존 오픈 소스 구성 요소를 살펴보고 기여할 수 있습니다.
NVIDIA와 하이퍼스케일러, 차세대 AI 팩토리 개방형 표준을 공개하다 🔗
AI 인프라가 전 세계로 확장되려면 앞선 하드웨어만으로는 부족합니다. 업계 전체가 그 위에 쌓아 올릴 수 있는 공통 기반이 필요하죠.
NVIDIA는 OCP에서 AMD, Google, Meta와 함께 그 기반을 세우는 새로운 개방형 규격을 공개했습니다. Open Data Center Specification v0.7은 전력 아키텍처부터 냉각 인프라, 물리적 배치에 이르기까지 차세대 AI 팩토리 시설 설계를 아우르는 통합 청사진을 정의합니다.
Google과 Meta, Microsoft, NVIDIA가 함께 공개한 OCP Grid Resilience Specification은 대규모 AI 인프라가 전력망 교란 상황에서 어떻게 작동해야 하는지를 규정합니다. 연결을 유지하고, 자동으로 대응하며, 2초 안에 거의 전부하 상태로 복구해야 한다는 내용이죠.
이들 표준이 공개되면서 전 세계 제조사들은 이제 공통의 목표를 두고 제품을 만들 수 있게 됐습니다. 장비 제조사와 코로케이션 사업자, 데이터센터 운영자는 개별 고객의 독자 규격을 기다리지 않고도 전 세계에서 건설 중인 AI 팩토리를 떠받칠 인프라 계층을 설계하고 제작해 공급할 수 있습니다.
이들 규격은 NVIDIA DSX 레퍼런스 디자인과 호환돼, 시설 배치와 전력 아키텍처부터 전력망 신호를 실시간으로 감시하고 대응하는 소프트웨어까지 두 규격의 검증된 구현을 곧바로 배포할 수 있게 해 줍니다. Vera Rubin AI 팩토리를 짓는 운영자라면 이제 개방형 커뮤니티 표준에서 실제 가동 시스템까지 한 줄로 이어지는 길이 생긴 셈이죠.
Visionbay.ai, Vera Rubin 시대를 위한 800VDC AI 팩토리를 설계하다 🔗
AI 팩토리가 커지고 강력해질수록 그 모두를 짓누르는 과제가 하나 있습니다. 차세대 AI를 이끄는 가속 컴퓨팅 시스템에 충분한 전력을 공급하는 일이죠.
Visionbay는 OCP에서 800V DC 아키텍처를 중심으로 설계하고 향후 NVIDIA Vera Rubin 배포를 염두에 둔 차세대 AI 팩토리 플랫폼 K-1의 계획을 공개했습니다. 이 프로젝트는 NVIDIA의 800V DC 레퍼런스 아키텍처와 Vertiv의 전력·열 관리 기술을 결합해 고밀도 AI 인프라를 위한 확장형 기반을 만들어 냅니다.
이 설계는 업계가 점점 크게 느끼는 문제를 겨냥합니다. AI 학습과 추론, 리즈닝 워크로드가 늘어나면서 랙 전력 밀도도 계속 높아지고 있는데요. 기존의 저전압 배전 방식은 갈수록 확장하기 어려워지고, 더 많은 구리와 케이블, 전력 변환 장비를 요구합니다.
K-1은 NVIDIA의 800V DC 아키텍처를 채택해 기존 배포의 유연성은 지키면서도 더 높은 밀도의 AI 인프라로 가는 길을 엽니다. 첫날부터 전면 전환을 요구하는 대신, 효과가 가장 큰 곳부터 800V DC 배전을 단계적으로 도입하도록 설계돼, 운영자가 시설을 대대적으로 다시 설계하지 않고도 차세대 가속 컴퓨팅에 대비할 수 있죠.
이 아키텍처는 AC-DC 변환을 한곳에 모으고 800V DC를 컴퓨팅 자원 가까이까지 공급하는 클러스터 단위 전력 센터를 중심으로 설계됐습니다. 이런 방식은 하류 전력 공급을 단순하게 만들고 모듈식 확장을 뒷받침하며, 앞으로의 AI 팩토리 성장에 반복해서 쓸 수 있는 빌딩 블록을 만들어 냅니다.
K-1은 전력과 냉각, 컴퓨팅을 함께 설계하는 NVIDIA AI 팩토리의 시스템 차원 설계 철학도 그대로 담고 있습니다. 액랭식 인프라와 확장형 배전, 향후 Vera Rubin급 배포 지원까지 갖춘 이 프로젝트는, 생태계 파트너가 NVIDIA의 AI 팩토리 아키텍처를 다음 시대 가속 컴퓨팅을 위한 실제 배포 가능한 인프라로 옮겨 내는 모습을 보여 줍니다.
Meta와 NVIDIA, Spectrum-6과 멀티플레인 기술로 AI 네트워킹을 진전시키다 🔗
Meta와 NVIDIA는 이번 행사에서 Meta가 개방형 네트워킹 위에 더 크고 성능 높은 NVIDIA Vera Rubin AI 팩토리를 구축하기 위해 NVIDIA Spectrum-6 102.4Tb/s 이더넷 스위치를 도입한다고 발표했습니다.
Spectrum-6은 Spectrum-4 대비 스위칭 용량과 레인당 대역폭이 두 배이며, 레인당 200G의 무손실 이더넷 AI 패브릭을 제공합니다. 실효 대역폭이 높고 성능 격리가 이뤄져 한 작업의 트래픽이 다른 작업을 느리게 만들지 않죠.
Spectrum-6 기반의 Meta 스위치 N-IceCube는 Meta의 100T 액랭식 랙 IcePack에 들어갑니다. N-IceCube는 Meta가 하이퍼스케일 환경의 효율적인 네트워킹을 위해 OCP에 기여한 오픈 소스 네트워크 운영체제 FBOSS(Facebook Open Switching System)로 구동되죠.
FBOSS는 NVIDIA가 개발에 참여한 OCP 표준 Switch Abstraction Interface 위에 구축돼, 벤더에 얽매이지 않고 스위치 하드웨어를 제어할 방법을 제공합니다. 이들 기술이 함께 맞물리면서 10만 개가 넘는 GPU로 거대한 전문가 혼합(mixture-of-experts) 모델을 학습하고 서비스하는 에이전틱 AI 팩토리를 뒷받침합니다.
이번 발표는 하이퍼스케일 AI 인프라를 운영해 온 Meta의 경험과 NVIDIA의 네트워킹 기술을 결합하는 협력에서 다음 단계에 해당합니다.
이 협력의 핵심에는 Spectrum-6 스위치와 ConnectX-9 SuperNIC으로 구현되는 Spectrum-X 멀티플레인 기술이 있습니다. 멀티플레인은 GPU 트래픽을 하드웨어 차원에서 최대 8개의 독립된 네트워크 플레인으로 분산해, 스위치 계층은 줄이고 인프라 비용은 낮추면서 AI 팩토리를 10만 GPU 이상으로 확장하게 해 주죠. GPU 사이에 여러 경로가 생기면서 네트워크 활용률과 복원력도 좋아집니다. 한 구성 요소가 고장 나면 트래픽이 남은 플레인으로 옮겨 가, 대역폭이 줄더라도 GPU는 계속 일하고 AI 애플리케이션도 멈추지 않습니다.
Meta와 NVIDIA는 실제 배포 경험과 빠른 엔지니어링 반복을 통해 이 복원력을 함께 다져 왔습니다. 두 팀은 온프레미스와 클라우드 환경 전반에서 개선 사항을 검증했습니다.
Meta 데이터센터·AI 네트워킹 부문 시니어 디렉터 Omar Baldonado는 “멀티플레인 패브릭을 운영 측면에서 확장 가능하고 성능 좋게 만드는 일에서 NVIDIA와 긴밀히 협력하게 돼 기쁩니다. 이는 저희 자체 인프라 구축에도, 공동 클라우드 파트너들에게도 꼭 필요한 요건입니다”라며 “FBOSS를 Spectrum ASIC으로 확장한다는 것은 저희 패브릭 전반에서 동일한 소프트웨어 스택을 운영할 수 있다는 뜻이고, Meta의 새로운 Spectrum 기반 스위치 N-IceCube는 그것을 Icepack, 즉 저희 인프라의 차세대 가속기들을 잇는 스케일아웃용 102.4T 액랭식 네트워크 랙으로 가져옵니다”라고 말했습니다.
Meta와 NVIDIA는 다른 AI 인프라 운영자도 도입할 수 있는 아키텍처와 운영 플레이북을 함께 만들어 가며, 까다로운 프로덕션 워크로드에서 얻은 교훈을 더 확장성 있고 복원력 있으며 효율적인 AI 팩토리로 바꿔 내고 있습니다.
USFP로 AI 팩토리 규모의 플러그형 광통신을 새로 쓰는 NVIDIA와 Cisco 🔗
AI 팩토리가 더 큰 모델과 치솟는 추론 수요를 감당하기 위해 커지면서, 인프라 스택의 모든 구성 요소가 더 높은 성능과 효율, 단순함을 제공해야 합니다. 네트워크 연결 그 자체까지 포함해서 말이죠.
NVIDIA와 Cisco는 OCP에서 AI 팩토리 구축 기업이 차세대 AI 패브릭을 확장하면서 대역폭 밀도와 전력 효율을 함께 높이도록 설계된 새로운 플러그형 광 트랜시버 모듈 규격 USFP 계획을 발표했습니다.
USFP는 널리 쓰이는 레인당 200Gb/s OSFP 규격과 크기가 거의 같으면서도 레인당 400Gb/s 네트워킹으로 가는 길을 열고, 여러 세대의 데이터센터 네트워크에서 이미 검증된 트랜시버 기반 배포 모델을 그대로 이어 갑니다. 16개의 전이중 레인을 담고 향후 32레인까지 확장할 계획이어서, 기존 레인당 200Gb/s 플러그형 광통신보다 대역폭 밀도가 네 배 높아지죠.
그 결과 지연 시간과 전력 소비, 복잡성을 키울 수 있는 네트워크 계층을 늘리지 않고도 더 많은 컴퓨팅 자원을 연결할 수 있게 됩니다.
이 새로운 규격은 차세대 AI 팩토리가 요구하는 규모와 효율에 맞춰 설계돼, 더 높은 대역폭의 패브릭을 뒷받침하면서도 플러그형 광통신을 현대 데이터센터의 기본 요소로 만든 유연성과 정비성은 그대로 지킵니다. 전력 효율도 약 1.3배 높아져 운영자가 더 적은 에너지로 더 많은 데이터를 옮길 수 있고요.
NVIDIA와 Cisco는 개방형 생태계를 북돋우기 위해 케이지와 커넥터, 모듈을 두고 TE Connectivity, Amphenol과 협력하고 있으며, 커뮤니티 주도의 멀티 소스 방식으로 USFP를 발전시킬 계획입니다. 이들 기업은 함께 더 확장성 있고 효율적이며 상호운용 가능한 AI 팩토리 네트워킹의 토대를 놓고 있습니다.
상호운용 가능한 AI 네트워킹을 위해 NVIDIA ConnectX-10을 지원하는 Google Falcon Transport 🔗
NVIDIA와 Google도 향후 NVIDIA ConnectX-10 SuperNIC과 BlueField DPU에서 Falcon Transport를 지원한다고 발표하며, 대규모 AI 인프라의 네트워크 효율을 높이는 데 힘을 보탰습니다.
Falcon은 혼잡 상황에서 패킷이 유실되기 쉬운 이더넷 네트워크에서도 데이터를 안정적으로 전달하도록 설계된 전송 프로토콜입니다. 멀티패스 부하 분산과 프로그래밍 가능한 혼잡 제어, 하드웨어 기반 손실 복구, 연결별 보안을 통해 AI와 스토리지 워크로드를 뒷받침하죠.
이번 협력은 NVIDIA의 하드웨어 가속과 DOCA 소프트웨어를 결합해 Falcon을 구현하고, NVIDIA 네트워킹을 Google의 데이터센터 전송으로까지 확장합니다. NVIDIA와 Google의 NIC이 공통 전송 계층 위에서 통신하면서도 애플리케이션은 표준 RDMA 프로그래밍 인터페이스를 그대로 쓸 수 있습니다.
Falcon은 트래픽을 여러 경로로 분산하고, 혼잡에 적응하며, 유실된 패킷을 복구하고, 연결을 보호함으로써 워크로드가 가용 대역폭을 더 잘 활용하고 이더넷 패브릭이 커져도 예측 가능한 성능을 유지하도록 돕습니다.
OCP의 NVIDIA와 함께하며 더 자세히 알아보세요.