인공지능(AI) 기술을 통한 추론(Inference) 기반 애플리케이션이 최근 주류로 떠오르고 있습니다.
엔비디아는 AI 성능에 대한 업계 대표적인 MLPerf 벤치 마크 테스트에서 데이터센터와 에지 컴퓨팅 시스템 부문의 모든 AI 추론 테스트에서 다시 한 번 성능 기록을 경신했는데요. 이를 통해 엔비디아는 하드웨어, 소프트웨어 부문 AI 성능을 측정하는 업계 유일의 독립 벤치마크에서 선도적인 입지를 굳히게 됐습니다.
엔비디아는 이번 MLPerf 추론 벤치마크 테스트에서 데이터센터 및 엣지(edge) 컴퓨팅 시스템에 대한 6개 애플리케이션 영역 모두에 걸쳐 최고 성능을 달성했습니다. 해당 테스트는 컴퓨터 비전에 대한 기존 두 가지 영역 외에도, AI 분야에서 가장 빠르게 성장하는 추천 시스템, 자연어 이해, 음성인식, 의료 이미징 부문의 네 가지 영역을 포함했습니다.
다양한 산업 분야의 조직들은 이미 NVIDIA A100 Tensor Core GPU의 탁월한 추론 성능을 활용해 AI를 연구활동에 적극 활용하고 있습니다. 금융 기관은 대화형 AI를 사용해 고객 문의에 신속히 응대하고 있으며, 소매 업체는 AI를 통해 재고를 관리하고 있습니다. 또한, 의료 서비스 제공업체는 AI를 활용해 수백만 개의 의료 이미지를 분석하여 보다 정확하게 질병을 식별해내고 생명을 구하고 있습니다.
이안 벅(Ian Buck) 엔비디아 가속 컴퓨팅 담당 부사장 겸 총괄은 “모든 업계가 AI를 통해 새로운 서비스를 제공하고 비즈니스를 성장시킬 수 있는 더 나은 방법을 모색하면서, AI의 활용이 폭발적으로 증가하는 티핑 포인트(Tipping Point)에 도달하고 있습니다. MLPerf 테스트에서 기록적인 성과를 달성하기 위해 엔비디아가 일궈낸 결과물들은 기업들에게 우리의 일상을 개선할 수 있는 새로운 수준의 AI 성능을 제공합니다”라고 설명했습니다.
이번 MLPerf 테스트 결과는 엔비디아의 AI 추론 역량이 크게 성장함에 따라 얻어진 성과입니다. 5년 전만 해도 일부 첨단기술 기업만이 추론을 위해 GPU를 사용했지만 엔비디아의 AI 플랫폼이 모든 주요 클라우드 및 데이터센터 인프라 제공업체를 통해 이용 가능해지면서, 업계 선도 기업들은 엔비디아의 AI 추론 플랫폼을 활용해 비즈니스 운영을 개선하고 신규 서비스를 제공하고 있습니다.
더불어, 엔비디아 GPU는 이제 처음으로 퍼블릭 클라우드에서 CPU 보다 더 많은 AI 추론 용량을 제공하게 됐는데요. 엔비디아 GPU의 클라우드 AI 추론 컴퓨팅 용량은 2년마다 약 10배씩 증가하고 있습니다.
AI 추론을 새로운 수준으로 끌어올려
엔비디아와 파트너사는 엔비디아 데이터센터 GPU, 엣지 AI 가속기, 엔비디아 최적화 소프트웨어 등이 포함된 엔비디아 가속 플랫폼을 이용해 MLPerf 0.7 결과를 제출했습니다.
엔비디아가 올해 초 선보인 3세대 Tensor Core와 멀티인스턴스 GPU 기술이 적용된 NVIDIA A100은 ResNet-50 테스트에서 CPU보다 30배 이상 높은 성능을 기록했습니다. 또한, MLPerf 추론 0.7 벤치마크에 따르면, 새롭게 추가된 데이터센터 추론을 위한 추천 테스트에서 NVIDIA A100은 최신 CPU 대비 237배 뛰어난 성능을 보였습니다.
이것은 단일 NVIDIA DGX A100 서버가 약 1,000대의 듀얼 소켓 CPU 서버와 동일한 성능을 제공해 기업들이 AI 추천 모델을 연구 단계에서 생산 단계로 전환할 시 높은 비용효율성을 확보할 수 있다는 의미이기도 합니다.
이번 벤치마크 결과는 또한 NVIDIA T4 Tensor Core GPU가 주요 기업용 서버, 엣지 서버, 그리고 비용 효율적인 클라우드 인스턴스를 위한 견고한 추론 플랫폼임을 증명합니다. 엔비디아 T4 GPU는 동일한 테스트에서 CPU 성능을 최대 28배 능가합니다. 또한 NVIDIA Jetson AGX Xavier는 SoC(시스템온칩) 기반 엣지 디바이스 가운데 단연 독보적인 성능을 제공합니다.
이러한 결과를 얻는 데에는 NVIDIA TensorRT 추론 최적화, NVIDIA Triton 추론 지원 소프트웨어를 포함한 고도로 최적화된 소프트웨어 스택이 필요합니다. 두 소프트웨어 모두 엔비디아의 소프트웨어 카탈로그인 NGC에서 이용할 수 있습니다.
이외에도 11개의 엔비디아 파트너사가 엔비디아 GPU를 활용해 총 1,029개의 결과를 제출했는데요 이는 데이터센터 및 엣지 부문 총 제출량의 85% 이상을 차지하는 수치라고 합니다.
다시 한 번 AI를 위한 독보적인 솔루션으로서 존재감을 증명한 엔비디아는 엔터프라이즈의 AI 도입과 사용사례를 지원하고 더 안전하고 진보된 미래를 위해 혁신적인 기술을 가속화할 예정입니다.