AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr, CEO 젠슨 황)의 새로운 엔비디아 T4 GPU가 서버 GPU 중 가장 빠른 채택률을 보이고 있습니다.
지난 9월 출시된 엔비디아 T4 GPU는 이미 세계 유수의 컴퓨터 제조업체가 제공하는 57가지 서버 설계에 적용됐습니다. T4 GPU는 이제 클라우드에서도 사용이 가능해진 가운데, 구글 클라우드 플랫폼 고객을 위한 T4도 최초로 공개됐습니다.
이안 벅(Ian Buck) 엔비디아 엑셀레이티드 컴퓨팅 담당 부사장 겸 총괄은 “지금까지 데이터센터 프로세서가 이렇게 빠른 채택률을 보인 적이 없었다”며, “T4는 출시 60일 만에 클라우드에서도 사용할 수 있게 되었으며, 전 세계 서버 제조업체 네트워크를 통해 지원된다. T4는 오늘날 퍼블릭 및 프라이빗 클라우드가 컴퓨팅 집약적인 워크로드를 처리하는데 요구되는 성능과 효율성을 제공한다”고 설명했습니다.
T4는 고성능컴퓨팅(HPC), 딥 러닝 교육과 추론, 머신 러닝, 데이터 분석, 그래픽 등 다양한 클라우드 워크로드를 가속화합니다. 새로운 엔비디아 튜링(Turing) 아키텍처에 기반한 이 제품은 다중 정밀 튜링 텐서(Tensor) 코어와 새로운 RT 코어를 특징으로 하며, 가속화된 컨테이너형 소프트웨어 스택과 결합될 경우 전례 없는 성능을 제공합니다.
다미온 헤레디아(Damion Heredia) 구글 클라우드 제품 관리 담당 수석 디렉터는 “실시간 시각화와 온라인 추론 워크로드를 최종 사용자에 제공하려면 지연시간이 낮아야 한다. 엔비디아와 협력해 구글 클라우드 고객에 T4 GPU를 지원하게 되어 기쁘게 생각한다”며, “구글 클라우드용 엔비디아 T4 GPU는 우리의 머신 러닝 및 시각화 고객들에게 확장성과 비용효율성이 뛰어나면서도 지연시간이 낮은 플랫폼을 제공한다. 고객들은 구글 클라우드의 네트워크 역량과 T4의 기능을 결합해 새로운 방식으로 혁신할 수 있으며, 애플리케이션 속도는 높이는 동시에 비용은 낮출 수 있다”고 말했습니다.
소셜 미디어 및 온라인 쇼핑몰과 같은 소비자 인터넷 기업들은 T4를 조기에 채택해 사용 중이며, 가장 큰 규모의 최종 사용자 기반을 보유하고 있습니다. 또한, T4를 채택한 서버 업체로는 DellEMC, HPE, IBM, 레노버(Lenovo), 슈퍼마이크로(Supermicro) 등이 있습니다.
유연한 설계, 획기적인 성능
퍼블릭 및 엔터프라이즈 클라우드 환경에서 요구되는 고유한 확장성을 충족시키도록 설계된 T4는 처리량(throughput), 사용률, 사용자 동시성(concurrency)을 극대화시켜 고객들이 사용자 및 데이터 폭증에 효과적으로 대응하도록 지원합니다.
T4는 또한 70W(와트) 소형 폼팩터로 표준 서버나 오픈 컴퓨트 프로젝트(Open Compute Project) 하이퍼스케일 서버 설계에 적합한 유연성을 제공합니다. 서버 설계는 단일 노드에서 1개부터 20개의 GPU를 지원합니다.
T4가 가진 다중정밀 기능은 네 가지 정밀 수준에서 다양한 AI 워크로드를 위한 획기적인 AI 성능을 제공합니다. 이를 통해, FP32에서 8.1 테라플롭(teraflop), FP16에서 65 테라플롭, INT8에서 130 TOPS(초당 테라 연산), INT4에서 260 TOPS의 성능을 구현합니다. AI 추론 워크로드의 경우 T4 GPU 2개를 탑재한 서버로 CPU 전용 서버 54개를 대체할 수 있습니다. 또한, AI 훈련을 위해서는 T4 GPU 2개를 탑재한 서버로 이중 소켓 CPU 전용 서버 9개를 대체할 수 있습니다.