전 세계 슈퍼컴퓨팅 센터들이 NVIDIA Ampere GPU 아키텍처를 도입하고 있습니다. 신약개발에서부터 에너지 연구에 이르기까지 보다 강력한 AI 모델을 원하는 각계의 수요에 부응하려는 것인데요.
후지쯔(Fujitsu)는 이러한 움직임에 동참하여 일본의 AI 브리징 클라우드 인프라스트럭처(AI Bridging Cloud Infrastructure, ABCI)용 엑사스케일(exascale) 시스템의 신규 도입을 발표했습니다. ABCI는 일본 산업기술총합연구소(National Institute of Advanced Industrial Science and Technology)에 설치되어 600페타플롭스의 성능을 제공하는 슈퍼컴퓨터입니다.
이번 출시는 각종 연구에 AI가 적극 활용됨에 따라 지난 5년 사이 모델 복잡성(model complexity)이 30,000배까지 치솟은 가운데 이뤄지게 되었습니다. 이렇듯 애플리케이션에 거대한 데이터세트를 메모리에 저장하면 일괄처리(batch processing)의 최소화와 처리량 증가에 도움이 됩니다.
엔비디아가 고성능 컴퓨팅 개발의 가속화를 지원하고자 지난 16일 HBM2e 테크놀로지를 적용한 NVIDIA A100 80GB GPU를 소개했습니다. A100 40GB GPU의 고대역폭 메모리를 80GB로 늘리고 초당 2테라바이트 이상의 메모리 대역폭을 제공하게 된 것인데요.
새로운 NVIDIA A100 80GB GPU를 사용하면 보다 대규모의 모델과 데이터세트를 더 빠른 메모리 대역폭으로 인메모리(in-memory)상에서 구동할 수 있게 되어 컴퓨팅 성능과 워크로드의 결과 산출 속도를 높일 수 있습니다. 인터노드 통신을 줄이면 NVIDIA A100 80GB GPU의 절반만으로도 AI 학습 성능을 1.4배나 향상시킬 수 있죠.
엔비디아는 또한 새로운 NVIDIA Mellanox 400G InfiniBand 아키텍처를 도입하여 데이터 처리량을 배가하는 한편 추가 가속화를 위한 인네트워크 컴퓨팅 엔진을 새롭게 제공합니다.
슈퍼컴퓨팅 개발 흐름에 올라탄 유럽
유럽도 이러한 흐름에 뛰어들고 있습니다. 이탈리아의 대학 간 컨소시엄 시네카(CINECA)는 세계에서 가장 빠른 슈퍼컴퓨터인 레오나르도(Leonardo) 시스템의 개발을 발표했습니다. 이 시스템은 14,000개의 NVIDIA Ampere 아키텍처 GPU와 NVIDIA Mellanox InfiniBand 네트워킹을 사용해 10엑사플롭스의 AI 성능을 제공합니다. 프랑스의 아토스(Atos)가 개발을 담당할 예정입니다.
EuroHPC 이니셔티브의 지원을 받으며 NVIDIA AI 플랫폼을 도입하는 유럽 시스템들이 점차 늘고 있는 추세인데요, 레오나르도 또한 그 대열에 합류하게 되었습니다. 이웃 독일의 율리히 슈퍼컴퓨터센터(Jülich Supercomputing Center)는 최근 유럽 최초로 NVIDIA GPU 기반 AI 엑사스케일 시스템을 출시해 역내에서 가장 강력한 AI 플랫폼을 제공하고 있습니다. 아토스가 새롭게 디자인한 율리히 시스템은 쥬얼스(JUWELS)라고 불리는 2.5엑사플롭스 성능의 AI 슈퍼컴퓨터로 최신 글로벌 슈퍼컴퓨터 500 순위에서 7위를 차지했습니다.
룩셈부르크의 멜루시나(MeluXina) 슈퍼컴퓨터, 체코에서 가장 강력한 슈퍼컴퓨터인 IT4이노베이션스 국립 슈퍼컴퓨팅 센터(IT4Innovations National Supercomputing Center), 슬로베니아 마리보르 정보과학연구소(Institute of Information Science)의 베가(Vega) 슈퍼컴퓨터도 이 대열에 동참하고 있습니다.
린셰핑대학교(Linköping University)는 일명 베르셀리우스(BerzeLiUs)라고 불리는 스웨덴에서 가장 빠른 슈퍼컴퓨터의 구축을 계획하고 있습니다. 이 컴퓨터는 NVIDIA DGX SuperPOD 인프라스트럭처를 기반으로 하게 될 텐데요. 최첨단 연구용으로 300페타플롭스의 AI 성능을 제공할 것으로 기대를 모으고 있습니다.
엔비디아는 80노드 DGX SuperPOD로 400페타플롭스의 AI 성능을 제공하게 될 케임브리지-1(Cambridge-1)을 구축하고 있습니다. 이는 영국에서 가장 빠른 슈퍼컴퓨터가 될 전망인데요. 영국의 AI와 헬스케어 관련 학계, 산업, 스타트업들의 협력 연구에 사용될 계획입니다.
전속력으로 질주하는 북아메리카
북아메리카도 엑사스케일 AI 슈퍼컴퓨팅 개발에 힘을 쏟고 있습니다. NERSC(National Energy Research Scientific Computing Center)는 펄뮤터(Perlmutter) 구축 프로그램에 NVIDIA AI를 도입하고 시스템 내에 6,200개의 NVIDIA A100 GPU를 장착할 계획입니다. NERSC 측에 따르면 펄뮤터는 3.9엑사플롭스의 AI 성능을 제공하게 될 것이라고 하네요.
NVIDIA Selene은 DGX SuperPOD 기반 클러스터 시스템으로 수주일만에 구축이 가능한 대규모 GPU 클러스터용 공개 레퍼런스 아키텍처입니다. NVIDIA DGX SuperPOD 시스템은 와트당 26.2기가플롭스의 전력효율이라는 세계 신기록을 달성하며 가장 효율적인 슈퍼컴퓨터를 뽑는 Green500 리스트에서 1위를 차지했습니다. 또한 MLPerf 추론 테스트에서 8개의 기념비적인 기록을 세우기도 했죠.
플로리다대학교와 엔비디아는 세계 학계에서 가장 빠른 AI 슈퍼컴퓨터를 구축하고 있습니다. 목표는 700페타플롭스의 AI 성능을 제공하는 것인데요. 엔비디아와의 파트너십을 통해 플로리다대학교는 미국의 AI 연구 대학들을 선도하는 위치에 올랐으며 학문 연구의 발전과 더불어 플로리다의 가장 복잡한 문제들의 해결에도 기여하고 있습니다.
아르곤국립연구소(Argonne National Laboratory)의 연구자들은 NVIDIA DGX A100 시스템 24개로 구성된 클러스터를 사용해 코로나19 치료 약물의 수십억 개 후보군을 스캔할 것입니다.
로스 앨러모스 국립연구소(Los Alamos National Laboratory), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise)와 엔비디아는 팀을 구성하여 과학 컴퓨팅의 가속화를 위한 차세대 테크놀로지를 제공합니다.
아시아태평양지역도 슈퍼 컴퓨팅 도입 가속화
아시아태평양지역의 슈퍼컴퓨터 또한 NVIDIA Ampere 아키텍처에 힘입어 발전을 거듭할 것입니다. 한국의 인터넷 검색 엔진 네이버와 일본의 메시지 서비스 라인은 NVIDIA DGX A100 시스템 140개로 구성된 DGX SuperPOD를 사용해 최대 700페타플롭스의 AI 성능으로 자연어 처리 모델과 대화형AI 서비스의 연구 개발을 확장해나가고 있습니다.
일본 국립 해양개발기구(Japan Agency for Marine-Earth Science and Technology, JAMSTEC)는 NVIDIA A100 GPU와 NVIDIA InfiniBand를 사용해 어스시뮬레이터(Earth Simulator)를 업그레이드합니다. 이 슈퍼컴퓨터는 AI 최대 성능 624페타플롭스와 HPC 최대 이론 성능 19.5페타플롭스를 달성할 것으로 예상되는데요, 이는 오늘날 글로벌 슈퍼컴퓨터 TOP500의 상위권에 포함될 정도의 실력이기도 하죠.
인도의 고급 컴퓨팅 개발센터 C-DAC는 인도에서 가장 빠르고 가장 큰 AI 슈퍼컴퓨터인 파람 시디-AI(PARAM Siddhi-AI)를 시범 운영하고 있습니다. 42개의 DGX A100 시스템으로 구성된 이 슈퍼컴퓨터는 200엑사플롭스의 AI 성능을 제공하며 헬스케어, 교육, 에너지, 사이버보안, 우주, 자동차, 농업 분야의 문제들을 해결하는 데 기여할 것입니다.
이제 안전벨트를 매세요. 지금부터 전 세계 과학 연구가 유례없는 속도를 만끽하게 될 테니까요.