AI 컴퓨팅 효율성 극대화에 나서는 NVIDIA와 인텔

인공지능(AI)은 코로나 백신을 놀라운 속도로 개발했을 뿐만 아니라 암 진단, 자율주행 자동차에 동력 공급, 기후 변화 분석에 박차를 가하게 하는 등 인류를 변화시키는 혁신의 핵심이 되고 있습니다.

사실상 모든 산업이 AI를 통해 혜택을 얻지만, 신경망이 복잡해지면서 기술은 자원을 고도로 필요로 하죠. 이 컴퓨팅 인프라 운영에 필요한 전력 생산이 지속 불가능한 수준으로 되지 않으려면, 기반 기술은 가능한 효율적이어야 합니다.

NVIDIA GPU와 NVIDIA AI 플랫폼으로 구동되는 가속 컴퓨팅은 데이터센터가 지속적으로 차세대 혁신을 이어갈 수 있도록 효율성을 제공합니다.

그리고 이제 4세대 인텔 제온 스케일러블(Gen Intel Xeon Scalable) 프로세서가 출시되면서 NVIDIA와 인텔은 에너지 효율성이 높은 AI로 구축된 차세대 가속 컴퓨팅 시스템들을 내놓기 시작했습니다. NVIDIA H100 Tensor Core GPU와 결합된 이 시스템들은 이전 세대보다 훨씬 더 뛰어난 성능, 더 큰 규모, 더 높은 효율성을 제공하여, 와트당 더 높은 연산 성능과 문제 해결 능력을 제공합니다.

이 새로운 인텔 CPU는 NVIDIA DGX H100 시스템은 물론 전세계 NVIDIA 파트너들이 제공하는, H100 GPU를 탑재한 60개 이상의 서버에 사용될 계획입니다.

엔터프라이즈용 AI에 향상된 속도와 효율성 제공 및 에너지 비용 절감

곧 출시될 이런 시스템들을 통해 기업은 기존 CPU 전용 데이터센터 서버 대비 평균 25배 높아진 효율성으로 워크로드를 실행할 수 있습니다. 와트당 제공되는 이런 놀라운 성능은 작업을 마치는 데 필요한 전력이 적게 소요된다는 것을 뜻하는데요. 이는 데이터센터에 쓰이는 전력을 최대한 효율적으로 사용해 가장 중요한 작업에 힘을 쏟을 수 있게 해줍니다.

이 신세대 NVIDIA 가속 서버들은 훈련과 추론 속도를 높이기 때문에 이전 세대의 가속 시스템 대비 에너지 효율성을 3.5배 높여줍니다. 다시 말해 AI 데이터센터는 총 소유 비용(TCO)을 3배 이상 절감합니다.

데이터 이동 늘려 NVIDIA AI 가속하는 새로운 4세대 인텔 제온 CPU

새로운 4세대 인텔 제온 CPU의 기능 중 하나는 PCIe Gen 5를 지원하는 것입니다. 이는 CPU에서 NVIDIA GPU와 네트워킹으로의 데이터 전송 속도를 두 배로 높이죠. PCIe 레인(lane)이 증가하면 각 서버 내에서 GPU와 고속 네트워킹의 밀도가 향상됩니다.

또한 빨라진 메모리 대역폭으로 AI처럼 데이터 집약적인 워크로드의 성능을 향상시킨 것은 물론, 연결 당 최대 400Gbps(초당 기가비트)의 네트워킹 속도로 서버와 스토리지 간의 데이터 전송 속도를 높였습니다.

H100 PCIe GPU를 탑재한 NVIDIA DGX H100 시스템들과 NVIDIA 파트너가 제공하는 서버들은 AI 개발 및 배포 소프트웨어의 엔드 투 엔드, 안전한 클라우드 네이티브 제품군인 NVIDIA AI Enterprise 라이센스와 함께, 효율적인 기업용 AI의 우수성을 위한 완벽한 플랫폼을 제공합니다.

초대형 AI 위해 효율성 극대화하는 NVIDIA DGX H100 시스템

세계 최고의 목적기반 AI 인프라인 4세대 NVIDIA DGX H100 시스템은 가속 데이터센터의 운영 체제인 NVIDIA Base Command 소프트웨어를 기반으로 완벽히 최적화된 플랫폼을 제공합니다.

DGX H100 시스템에는 각각 8개의 NVIDIA H100 GPU, 10개의 NVIDIA ConnectX-7 네트워크 어댑터 및 듀얼 4세대 인텔 제온 스케일러블 프로세서를 갖추고 있어 대규모 생성 AI 모델, 대형 언어 모델, 추천 시스템 등을 구축하는 데 필요한 성능을 제공합니다.

NVIDIA 네트워킹과 결합된 이 시스템은 이전 세대보다 최대 9배 더 높은 성능을 제공하며, AI 훈련 및 HPC 워크로드에 대해 가속화되지 않은 X86 듀얼 소켓 서버보다 20배에서 40배 더 높은 성능을 제공해 규모에 맞게 컴퓨팅을 효율적으로 만듭니다. 이전에는 언어 모델을 X86 전용 서버 클러스터에서 훈련시키는 데 40일이 필요했지만, 인텔 제온 CPU와 ConnectX-7 구동 네트워킹을 사용하는 NVIDIA DGX H100에서 이 동일한 작업을 완료하는 데는 불과 하루 이틀 밖에 소요되지 않을 것입니다.

NVIDIA DGX H100 시스템은 엔터프라이즈용 턴키(turnkey) NVIDIA DGX SuperPOD의 구성 요소로, 최대 1 엑사플롭(exaflop)의 AI 성능을 낼 수 있어 대규모 엔터프라이즈 AI 구축에 효율성을 제공합니다.

데이터센터의 효율성을 향상시키는 NVIDIA 파트너

AI 데이터센터 워크로드의 경우에 기업들은 NVIDIA H100 GPU를 통해 애플리케이션을 보다 효율적으로 구축하고 배포할 수 있습니다.

H100 GPU와 4세대 인텔 제온 스케일러블 CPU를 갖춘 시스템들은 에이수스(ASUS), 아토스(Atos), 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 후지쯔(Fujitsu), 기가바이트(GIGABYTE), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo), QCT, 슈퍼마이크로(Supermicro) 등의 NVIDIA 파트너에서 곧 출시될 예정으로, 전세계 기업에 새로운 세대의 성능과 에너지 효율성을 제공하게 될 것입니다.

효율성 면에서 선두자로 떠오른 NVIDIA H100 GPU를 탑재한 플랫아이언 연구소(Flatiron Institute)의 레노버 씽크 시스템(Lenovo Think System)은 최근 에너지 효율성이 뛰어난 슈퍼 컴퓨터 순위를 평가하는 그린500(Green500)에서 1위를 차지했으며, NVIDIA 기술은 상위 30개 시스템 중 23위를 차지했습니다. 레노버 씽크 시스템은 이전 세대의 인텔 CPU를 사용하고 있어 시장에 이제 출시되는 시스템에서 훨씬 더 높은 효율성이 기대되죠.

그 외에도 서버가 NVIDIA ConnectX-7 네트워킹과 인텔 4세대 제온 스케일러블 프로세서와 연결되면 효율성이 향상되고 인프라와 전력 소비가 감소됩니다.

NVIDIA ConnectX-7 어댑터는 이더넷(Ethernet)이나 InfiniBand를 사용하여 연결 당 PCIe Gen 5와 400Gbps를 지원하여 서버와 스토리지 간의 네트워킹 처리량을 두 배로 늘립니다. 어댑터는 고급 네트워킹, 스토리지, 보안 오프로드를 지원하죠. ConnectX-7은 필요한 케이블과 스위치 포트의 수를 줄여 대형 GPU 가속 HPC와 AI 클러스터의 네트워킹에 필요한 전기를 17% 이상 절약하고 이러한 새로운 서버의 에너지 효율성을 향상시킵니다.