NVIDIA AI 추론 플랫폼이 NVIDIA A30과 A10 GPU로 새롭게 확장된 후 최근 MLPerf 벤치마크 테스트의 모든 영역에서 기록적인 성능을 달성했습니다.
MLPerf는 컴퓨터 비전, 의료 이미징, 추천 시스템, 음성 인식, 자연어 처리 등을 포함한 광범위한 워크로드에 걸쳐 AI 성능을 측정하기 위해 확립된 대표적인 업계 벤치마크입니다.
MLPerf 테스트에 처음 등장한 NVIDIA A30과 A10 GPU는 높은 성능과 저전력 소비를 결합하여 기업에 광범위한 AI 추론, 교육, 그래픽, 기존 엔터프라이즈 컴퓨팅 워크로드를 위한 획기적인 옵션을 제공하는데요. 시스코(Cisco), 델 테크놀로지스(Dell Technologies), HPE, 인스퍼(Inspur), 레노버(Lenovo)는 이번 하반기부터 해당 GPU를 NVIDIA 대용량 서버에 탑재할 예정입니다.
NVIDIA는 마이크로소프트(MS), 핀터레스트(Pinterest), 포스트메이츠(Postmates), 티모바일(T-Mobile), USPS, 위챗(WeChat)과 같은 유수의 기업에 구축된 TensorRT, NVIDIA Trito, Triton Inference Server를 포함한 다양한 GPU와 AI 소프트웨어를 포괄하는 NVIDIA AI 플랫폼을 통해 이러한 결과를 달성했습니다.
이안 벅(Ian Buck) NVIDIA 가속 컴퓨팅 담당 부사장 겸 총괄은 “AI가 모든 산업을 계속해서 변화시키면서, MLPerf는 기업이 IT 인프라 투자에 대한 정보에 입각한 결정을 내리는 데 점점 더 중요한 툴이 되고 있습니다. 현재 모든 주요 OEM이 MLPerf 결과를 제출하고 있는 가운데, NVIDIA와 우리 파트너들은 AI를 위한 업계 최고의 성능을 제공하고 있습니다. 뿐만 아니라, 새로운 A30과 A10 GPU로 구동되는 차세대 엔터프라이즈 서버를 통해 AI를 민주화하는데 집중하고 있습니다”고 설명했죠.
MLPerf 벤치마크 테스트 결과
NVIDIA는 데이터센터와 엣지 영역의 모든 테스트에 대한 결과를 제출하는 유일한 기업으로, 모든 MLPerf 워크로드에서 최고의 성능을 달성하고 있습니다.
또한 모든 주요 프레임워크의 모델을 지원하고, GPU와 CPU에서 실행되며, 배치(batch), 스트리밍을 포함한 다양한 쿼리 유형에 대해 최적화함으로써 애플리케이션에서 AI 배포의 복잡성을 단순화하는 Triton 추론 서버를 사용하는데요. Triton을 사용한 제출물은 유사한 구성으로 가장 최적화된 CPU와 GPU 구현에 가까운 성능을 달성했습니다.
뿐만 아니라 7개의 MIG(Multi-Instance GPU) 인스턴스를 사용하는 단일 GPU에서 7개의 MLPerf 오프라인 테스트를 동시에 실행함으로써, NVIDIA 암페어(Ampere) 아키텍처의 Multi-Instance GPU 기능을 사용한 결과물을 제출했습니다. 이 구성은 단일 MIG 인스턴스와 거의 동일한 성능을 보였죠.
이를 통해, 인프라 관리자가 특정 애플리케이션에 적합한 크기의 GPU 컴퓨팅을 프로비저닝하여 모든 데이터센터 GPU에서 최대 출력을 얻을 수 있도록 지원하는 MIG의 성능과 기능성을 입증했습니다.
NVIDIA의 파트너인 알리바바 클라우드(Alibaba Cloud), 델 테크놀로지스, 후지쯔(Fujitsu), 기가바이트(Gigabyte), HPE, 인스퍼, 레노버, 슈퍼마이크로(Supermicro)도 NVIDIA GPU를 사용하여 총 360개 이상의 결과물을 제출했습니다.
A30과 A10 GPU로 확장된 NVIDIA AI 플랫폼
NVIDIA A30과 A10 GPU는 NVIDIA AI 플랫폼에 NVIDIA Ampere 아키텍처 GPU, NVIDIA Jetson AGX Xavier, Jetson Xavier NX가 포함되어 추가된 최신 GPU입니다.
A30은 업계 표준 서버를 위한 다양한 성능을 제공하며, 추천 시스템, 대화형 AI, 컴퓨터 비전 등 광범위한 AI 추론과 메인스트림 엔터프라이즈 컴퓨팅 워크로드를 지원합니다.
NVIDIA A10 GPU는 딥 러닝 추론, 대화형 렌더링, 컴퓨터 지원 설계, 클라우드 게임을 가속화하여 기업들이 공통의 인프라에서 혼합 AI, 그래픽 워크로드를 지원할 수 있도록 하는데요. NVIDIA 가상 GPU 소프트웨어를 사용하면 관리를 간소화하여 디자이너, 엔지니어, 아티스트, 과학자가 사용하는 가상 데스크톱의 활용도와 프로비저닝을 개선할 수 있습니다.
NVIDIA Jetson 플랫폼은 NVIDIA Xavier 시스템-온-모듈을 기반으로 엣지에서 서버급 AI 성능을 제공하여 로봇, 의료, 소매, 스마트시티와 같은 다양한 애플리케이션을 지원합니다. NVIDIA 통합 아키텍처와 CUDA-X 소프트웨어 스택을 기반으로 구축된 Jetson은 30W 미만의 전력 소비로 모든 엣지 워크로드를 컴팩트한 설계상에서 실행할 수 있는 유일한 플랫폼이죠.
NVIDIA AI 플랫폼 이용 안내
NVIDIA A100 GPU는 주요 제조업체의 서버와 클라우드 서비스 공급업체의 클라우드에서 이용할 수 있습니다. 또한 A100 GPU는 NVIDIA DGX Station A100, NVIDIA DGX A100, NVIDIA DGX SuperPOD를 포함하여 NVIDIA DGG 시스템 포트폴리오 전반에 걸쳐 제공됩니다. A30과 A10은 광범위한 워크로드에서 고성능을 보장하기 위해 엄격한 테스트를 거친 NVIDIA 인증 시스템을 비롯한 광범위한 서버에서 제공될 예정입니다. Jetson AGX Xavier과 Jetson Xavier NX 시스템-온-모듈은 전 세계 총판으로부터 공급됩니다. NVIDIA Triton, NVIDIA TensorRT는 모두 NVIDIA의 소프트웨어 카탈로그인 NGC에서 이용 가능합니다.