NVIDIA는 전 세계 기업들과 협력해 AI 팩토리를 구축하고 있습니다. 최신 훈련, 추론 기술을 기반으로 차세대 AI 애플리케이션의 훈련과 배포 속도를 높이고 있죠.
NVIDIA Blackwell 아키텍처는 새로운 애플리케이션의 고도화된 성능 요구사항을 충족할 수 있도록 설계됐습니다. 벤치마크가 2018년에 도입된 후 12번째로 진행된 최신 MLPerf 훈련 라운드에서, NVIDIA AI 플랫폼은 모든 벤치마크 항목에서 최고 수준의 성능을 입증했습니다. 또한, 가장 까다로운 거대 언어 모델(LLM) 중심 테스트인 라마 3.1 405B(Llama 3.1 405B) 사전 훈련에서 제출된 모든 결과도 NVIDIA 플랫폼 위에서 실행됐죠.
NVIDIA 플랫폼은 유일하게 MLPerf 훈련 v5.0의 모든 벤치마크 항목에 결과를 제출했습니다. LLM, 추천 시스템, 멀티모달 LLM, 객체 감지, 그래프 신경망을 아우르는 광범위한 AI 워크로드에서 탁월한 성능과 범용성을 입증했죠.
대규모 출품에는 NVIDIA Blackwell 플랫폼으로 구동되는 두 대의 AI 슈퍼컴퓨터가 사용됐는데요. NVIDIA GB200 NVL72 랙 스케일 시스템으로 구성된 티케(Tyche)와 NVIDIA DGX B200 시스템을 기반으로 한 닉스(Nyx)가 활용됐습니다. 또한, NVIDIA는 코어위브(CoreWeave), IBM과 협력해 총 2,496개의 Blackwell GPU와 1,248개의 NVIDIA Grace CPU를 사용한 GB200 NVL72 결과도 제출했습니다.
새로운 라마 3.1 405B 사전 훈련 벤치마크에서 Blackwell 아키텍처는 동일한 규모의 이전 세대 대비 2.2배 향상된 성능을 기록했습니다.
라마 2 70B LoRA 미세 조정 벤치마크에서는 Blackwell GPU 8개가 탑재된 NVIDIA DGX B200 시스템이 이전 라운드에서 동일 GPU 수로 제출한 결과보다 2.5배 더 높은 성능을 달성했죠.
이러한 성능 도약은 NVIDIA의 기술적 진보를 확인할 수 있는데요. Blackwell 아키텍처뿐만 아니라 고밀도 수랭식 랙, 랙당 13.4 테라바이트(TB)의 코히어런트 메모리, 스케일업(scale-up)을 위한 5세대 NVIDIA NVLink와 NVIDIA NVLink Switch 상호연결 기술, 그리고 스케일 아웃을 위한 NVIDIA Quantum-2 InfiniBand 네트워킹 등이 바로 그것이죠. 또한, NVIDIA NeMo 프레임워크 소프트웨어 스택의 혁신은 에이전틱 AI 애플리케이션 실현에 핵심적인 기반이 되는 차세대 멀티모달 LLM 훈련의 기준을 높였습니다.
에이전틱 AI 기반 애플리케이션은 미래의 AI 팩토리에서 작동하게 되며, 곧 에이전틱 AI 경제의 핵심 엔진으로 자리잡을 전망입니다. 이러한 새로운 애플리케이션은 토큰과 지능 정보를 생성하며, 거의 모든 산업과 학문 분야에 걸쳐 가치를 창출할 수 있습니다.
NVIDIA 데이터센터 플랫폼에는 GPU, CPU, 고속 패브릭, 네트워킹은 물론 NVIDIA CUDA-X 라이브러리, NeMo 프레임워크, NVIDIA TensorRT-LLM, NVIDIA Dynamo와 같은 방대한 소프트웨어가 포함됩니다. 이처럼 정밀한 하드웨어와 소프트웨어 기술 조합은 조직이 AI 모델을 더 빠르게 훈련하고 배포할 수 있게 해 가치 실현 시간을 획기적으로 단축시키죠.
이번 MLPerf 라운드에는 코어위브와 IBM 외에도 다양한 NVIDIA 파트너사들이 참여했습니다. 에이수스(ASUS), 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 기가컴퓨팅(Giga Computing), 구글 클라우드(Google Cloud), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), 람다(Lambda), 레노버(Lenovo), 네비우스(Nebius), 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure, OCI), 퀀타 클라우드 테크놀로지(Quanta Cloud Technology), 슈퍼마이크로(Supermicro) 등이 다양한 벤치마크 결과를 제출했습니다.
MLPerf 벤치마크에 대한 자세한 내용을 알아보세요.