새로운 NVIDIA Grace Hopper 슈퍼칩이 차세대 추천 시스템에 이상적인 이유

인터넷의 경제 엔진인 추천 시스템에 새로운 터보차저인 NVIDIA Grace Hopper 슈퍼칩이 도입됐습니다.

추천 시스템은 매일 수십억 명의 사람들에게 수조 개의 검색 결과, 광고, 제품, 음악, 뉴스 기사 등을 제공하는데요. 추천 시스템은 사용자가 인터넷의 정보 홍수 속에서 원하는 진주를 찾는 데 매우 효과적이기 때문에 우리 시대의 가장 중요한 AI 모델 중 하나죠.

이러한 머신 러닝 파이프라인은 테라바이트 규모의 데이터에서 실행됩니다. 추천 시스템이 데이터를 더 많이 소비할수록 더 정확한 결과와 더 많은 투자 수익을 제공합니다.

이러한 데이터 쓰나미를 프로세싱하기 위해 기업은 이미 가속 컴퓨팅을 채택하여 고객 서비스를 맞춤화하고 있습니다. Grace Hopper는 이러한 발전을 한 단계로 더 높여줄 것입니다.

GPU로 참여율 16% 증가

이미지 공유 소셜 미디어 회사인 핀터레스트(Pinterest)는 NVIDIA GPU를 채택하여 100배 더 큰 추천 모델로 이동할 수 있었는데요. 그 결과 4억 명이 넘는 사용자의 참여도가 16% 증가했습니다.

핀터레스트의 소프트웨어 엔지니어는 최근 블로그에서 “우리는 보통 2% 증가에도 만족하는데 16%는 시작에 불과합니다. 우리는 추가적인 이익을 보고 있으며, 이는 많은 기회의 문을 열어줍니다”라고 말했습니다.

추천 시스템은 수십 테라바이트의 임베딩, 정확한 예측을 위한 컨텍스트를 제공하는 데이터 테이블을 사용합니다.

차세대 NVIDIA AI 플랫폼은 초대형 추천 모델로 방대한 데이터 세트를 프로세싱하는 회사에 훨씬 더 큰 이점을 약속합니다.

데이터는 AI의 연료이기 때문에, Grace Hopper는 추천 시스템을 통해 지구상의 다른 프로세서보다 더 많은 데이터를 펌핑하도록 설계됐습니다.

NVLink로 Grace Hopper 가속화

이게 가능한 이유는 Grace Hopper가 슈퍼칩이기 때문입니다. 한 유닛에 두 개의 칩이 들어가 초고속 칩 투 칩 상호 연결을 공유합니다. Arm 기반 NVIDIA Grace CPU와 NVIDIA NVLink-C2C를 통해 통신하는 Hopper GPU입니다.

또한 NVLink는 테라바이트급 추천 시스템을 실행하도록 구축된 컴퓨팅 클러스터인 슈퍼 시스템에 많은 슈퍼칩을 연결합니다.

NVLink는 초당 900기가바이트라는 엄청난 속도로 데이터를 전송합니다. 이는 PCIe Gen 5 대역폭의 7배에 달하는 것으로, 최신 시스템이 가장 많이 사용하게 될 인터커넥트입니다.

이는 Grace Hopper가 사용자를 위해 결과를 맞춤화하는 데 필요한 임베딩(컨텍스트가 포함된 데이터 테이블)을 7배 더 많이 추천자에게 제공할 수 있다는 뜻입니다.

더 큰 메모리, 더 높은 효율성

Grace CPU는 추천 시스템과 기타 까다로운 워크로드에 대해 대역폭, 에너지 효율성, 용량, 비용의 최적 균형을 찾는 메모리 유형인 LPDDR5X를 사용합니다. 기존 DDR5 메모리 서브시스템의 기가바이트당 전력의 8분의 1을 사용하면서 50% 더 많은 대역폭을 제공합니다.

클러스터의 모든 Hopper GPU는 NVLink를 통해 Grace의 메모리에 액세스할 수 있는데요. 역대 최대의 GPU 메모리 풀을 제공하는 Grace Hopper의 기능입니다.

또한 NVLink-C2C는 전송되는 비트당 1.3피코줄(pJ)만 필요하므로 PCIe Gen 5 대비 5배 이상의 에너지 효율성을 제공합니다.

종합적인 결과에 따르면, 추천 시스템이 기존 CPU와 함께 Hopper를 사용하는 것보다 Grace Hopper를 사용할 때 최대 4배 더 높은 성능과 효율성을 얻을 수 있습니다(아래 차트 참조).