엑스AI(xAI)가 구축한 세계 최대 AI 슈퍼컴퓨터 ‘콜로서스(Colossus)’는 NVIDIA 이더넷 네트워킹 기술을 통해 가속화되고 있습니다.
미국 테네시주 멤피스에 위치한 엑스AI의 콜로서스 슈퍼컴퓨터 클러스터는 NVIDIA Spectrum-X™ 이더넷 네트워킹 플랫폼을 사용해 10만 개의 NVIDIA Hopper GPU로 구성된 대규모 시스템을 구현했습니다. Spectrum-X™ 플랫폼은 표준 기반 이더넷을 사용해 멀티 테넌트, 하이퍼스케일 AI 팩토리에 뛰어난 성능을 제공하도록 설계됐으며, 원격 직접 메모리 액세스(RDMA) 네트워크를 지원합니다.
콜로서스는 세계에서 가장 큰 AI 슈퍼컴퓨터로, 엑스AI의 그록(Grok) 거대 언어 모델(Large Language Model, LLM) 제품군을 훈련하는 데 사용됩니다. 이 모델은 엑스 프리미엄(X Premium) 구독자를 위한 챗봇 기능을 제공하는 데도 활용되죠. 현재 엑스AI는 콜로서스의 규모를 두 배로 늘려 총 20만 개의 NVIDIA Hopper GPU로 구성하는 작업을 진행하고 있습니다.
NVIDIA와 엑스AI는 지원 시설과 최첨단 슈퍼컴퓨터를 단 122일 만에 구축했습니다. 일반적으로 이 정도 규모의 시스템을 구축하는 데 수개월에서 수년이 걸리는 기간을 생각하면 매우 빠른 속도입니다. 첫 번째 랙이 바닥에 설치한 시점부터 훈련이 시작되기까지 단 19일이 걸렸죠.
초대형 그록 모델을 훈련하는 동안 콜로서스는 전례 없는 네트워크 성능을 달성했습니다. 네트워크 패브릭의 세 계층 모두에서 이 시스템은 플로우 충돌로 인한 애플리케이션 지연 시간 저하나 패킷 손실이 전혀 발생하지 않았습니다. 또한 Spectrum-X 혼잡 제어를 통해 95%의 데이터 처리량을 유지했습니다.
표준 이더넷으로는 이러한 수준의 성능을 대규모로 달성할 수 없습니다. 데이터 처리량이 60%에 불과해서 수천 건의 플로우 충돌을 일으키기 때문입니다.
NVIDIA 네트워킹 담당 수석 부사장인 길라드 샤이너(Gilad Shainer)는 “AI는 이제 필수적인 존재가 됐으며, 향상된 성능, 보안, 확장성, 비용 효율성을 필요로 합니다. NVIDIA Spectrum-X 이더넷 네트워킹 플랫폼은 엑스AI와 같은 혁신가들에게 AI 워크로드의 빠른 처리, 분석, 실행을 제공합니다. 결과적으로 AI 솔루션의 개발과 배포, 출시 시간을 단축할 수 있도록 설계됐습니다”고 말했습니다.
일론 머스크(Elon Musk)는 자신의 엑스 계정에서 “콜로서스는 세계에서 가장 강력한 훈련 시스템입니다. 엑스AI 팀과 NVIDIA, 그리고 많은 파트너, 공급업체들이 훌륭한 작업을 했습니다”고 말했습니다.
엑스AI 대변인은 “엑스AI는 세계에서 가장 크고 가장 강력한 슈퍼컴퓨터를 구축했습니다. 우리는 NVIDIA의 Hopper GPU와 Spectrum-X를 통해 대규모 AI 모델 훈련의 한계를 뛰어넘었으며, 이더넷 표준을 기반으로 초고속화되고 최적화된 AI 팩토리를 구축할 수 있게 됐습니다”고 말했습니다.
Spectrum-X 플랫폼의 핵심은 최대 800Gb/s의 포트 속도를 지원하는 Spectrum SN5600 이더넷 스위치로, Spectrum-4 스위치 ASIC를 기반으로 합니다. 엑스AI는 전례 없는 성능을 위해 Spectrum-X SN5600 스위치와 NVIDIA BlueField-3 SuperNIC를 함께 사용하기로 선택했습니다.
AI용 Spectrum-X 이더넷 네트워킹은 이전에는 인피니밴드(InfiniBand)에서 독점적이었던 낮은 지연 시간과 짧은 테일 레이턴시로 매우 효과적이고 확장 가능한 대역폭을 제공하는 고급 기능을 제공합니다. 이러한 기능에는 NVIDIA Direct Data Placement 기술을 사용한 적응형 라우팅, 혼잡 제어, 향상된 AI 패브릭 가시성과 성능 격리가 포함되죠. 이러한 모든 기술은 멀티 테넌트 생성형 AI 클라우드와 대규모 엔터프라이즈 환경에 필수적인 요구 사항입니다.