오늘 SC23에서 전 세계 과학 및 산업 연구 센터의 성능과 에너지 효율성을 새로운 차원으로 끌어올릴 차세대 기술이 공개되었습니다.
엔비디아의 고성능 컴퓨팅 및 하이퍼스케일 데이터센터 사업부 부사장인 Ian Buck은 컨퍼런스 특별 연설에서 “엔비디아의 하드웨어 및 소프트웨어 혁신으로 새로운 종류의 AI 슈퍼컴퓨터가 탄생하고 있다”고 말했습니다.
일부 시스템에는 메모리가 강화된 엔비디아 호퍼 가속기가 탑재되며, 다른 시스템에는 새로운 엔비디아 그레이스 호퍼 시스템 아키텍처가 탑재될 예정입니다. 모두 확장된 병렬 처리를 사용하여 생성형 AI, HPC 및 하이브리드 양자 컴퓨팅을 위한 가속 소프트웨어의 전체 스택을 실행할 예정입니다.
Buck은 새로운 NVIDIA HGX H200을 “세계 최고의 AI 컴퓨팅 플랫폼”이라고 설명했습니다.
이 제품은 초고속 기술을 사용하는 최초의 AI 가속기인 최대 141GB의 HBM3e를 탑재하고 있습니다. GPT-3와 같은 모델을 실행하는 NVIDIA H200 텐서 코어 GPU는 이전 세대 가속기에 비해 18배의 성능 향상을 제공합니다.
다른 생성형 AI 벤치마크 중에서도 Llama2-13B 대규모 언어 모델(LLM)에서 초당 12,000개의 토큰을 처리합니다.
Buck은 또한 엔비디아 NVLink 인터커넥트에서 4개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 연결하는 서버 플랫폼을 공개했습니다. 이 쿼드 구성은 단일 컴퓨팅 노드에 무려 288개의 Arm 네오버스 코어와 최대 2.3테라바이트의 고속 메모리로 16페타플롭의 AI 성능을 제공합니다.
엔비디아 텐서RT-LLM 오픈소스 라이브러리를 사용하는 GH200 슈퍼칩 1개는 듀얼 소켓 x86 CPU 시스템보다 100배 빠르며, X86 + H100 GPU 서버보다 약 2배 더 에너지 효율이 높다는 것을 입증합니다.
벅은 “가속화된 컴퓨팅은 지속 가능한 컴퓨팅입니다.”라고 말합니다. “가속 컴퓨팅과 생성형 AI의 힘을 활용함으로써 우리는 함께 산업 전반의 혁신을 주도하는 동시에 환경에 미치는 영향을 줄일 수 있습니다.”
엔비디아, 새로운 TOP500 시스템 49개 중 38개 지원
세계에서 가장 빠른 슈퍼컴퓨터의 최신 TOP500 목록은 가속화된 에너지 효율적인 슈퍼컴퓨팅으로의 전환을 반영합니다.
엔비디아 H100 텐서 코어 GPU 기반의 새로운 시스템 덕분에, 엔비디아는 5월 순위의 1.6 엑사플롭에서 2.5 엑사플롭 이상의 HPC 성능을 제공하는 세계 최고 수준의 시스템을 보유하게 되었습니다. 상위 10위권에서 엔비디아의 기여도만 해도 거의 1엑사플롭의 HPC 및 72엑사플롭의 AI 성능에 달합니다.
새로운 목록에는 5월의 372대 대비 379대로 역대 가장 많은 수의 시스템이 엔비디아 기술을 사용했으며, 49대의 신규 슈퍼컴퓨터 중 38대가 이 목록에 포함되었습니다.
Microsoft Azure는 NDv5 인스턴스에서 H100 GPU를 사용하는 Eagle 시스템으로 561페타플롭으로 3위를 차지하며 새롭게 순위에 진입했습니다. 바르셀로나의 Mare Nostrum5가 8위를 차지했으며, 최근 MLPerf 벤치마크에서 새로운 AI 트레이닝 기록을 세운 NVIDIA Eos가 9위에 올랐습니다.
에너지 효율성을 입증한 엔비디아 GPU는 Green500의 상위 30개 시스템 중 23개를 구동합니다. 또한 뉴욕의 Flatiron Institute에서 와트당 65.09 기가플롭을 제공하는 H100 GPU 기반 Henri 시스템으로 1위 자리를 지켰습니다.
COVID-19를 탐구하는 AI 세대
아르곤 국립연구소는 생체 분자 LLM을 위한 생성 AI 플랫폼인 NVIDIA BioNeMo를 사용하여 코로나바이러스의 실제 변종과 매우 유사한 유전자 서열을 생성할 수 있는 모델인 GenSLM을 개발하여 가능성의 가능성을 보여주었습니다. 이 모델은 NVIDIA GPU와 150만 개의 COVID 게놈 서열 데이터를 사용하여 새로운 바이러스 변종을 빠르게 식별할 수 있습니다.
이 연구는 지난해 고든 벨 특별상을 수상했으며 아르곤의 폴라리스 시스템, 미국 에너지부의 Perlmutter, 엔비디아의 Selene 등 슈퍼컴퓨터를 통해 훈련되었습니다.
“이는 빙산의 일각에 불과하며, 생성형 AI가 과학 탐험의 환경을 계속 재정의함에 따라 미래는 가능성으로 가득 차 있습니다.”라고 NVIDIA의 의료 담당 부사장 킴벌리 파월(Kimberly Powell)은 특별 연설에서 말했습니다.
시간, 비용 및 에너지 절약
Buck은 최신 기술을 사용하여 워크로드를 가속화하면 시스템 비용과 에너지 사용량을 크게 줄일 수 있다고 말했습니다.
예를 들어, 지멘스는 메르세데스와 협력하여 새로운 전기 EQE 차량의 공기역학 및 관련 음향을 분석했습니다. CPU 클러스터에서 몇 주가 걸리던 시뮬레이션이 최신 NVIDIA H100 GPU를 사용하여 훨씬 빠르게 실행되었습니다. 또한 호퍼 GPU를 통해 비용을 3배 절감하고 에너지 소비를 4배 줄일 수 있었습니다(아래).
내년부터 200 엑사플롭스 전환
최신 시스템이 구축되는 전 세계 곳곳에서 과학 및 산업 발전이 이루어질 것입니다.
벅은 “이미 2024년에 생산에 들어갈 그레이스 호퍼 슈퍼컴퓨터에서 총 200엑사플롭의 AI를 사용할 수 있을 것으로 예상됩니다.”라고 말했습니다.
여기에는 독일 율리히 센터의 대규모 슈퍼컴퓨터인 JUPITER가 포함됩니다. 이 슈퍼컴퓨터는 AI 트레이닝에 93엑사플롭, HPC 애플리케이션에 1엑사플롭의 성능을 제공하면서 전력 소비는 18.2메가와트에 불과합니다.
Eviden의 BullSequana XH3000 수냉식 시스템을 기반으로 하는 JUPITER는 기후 및 날씨 예측, 신약 개발, 하이브리드 양자 컴퓨팅 및 디지털 트윈을 위해 엔비디아 쿼드 GH200 시스템 아키텍처와 엔비디아 Quantum-2 InfiniBand 네트워킹을 사용하게 될 것입니다. JUPITER quad GH200 노드는 864GB의 고속 메모리로 구성됩니다.
이 노드는 NVIDIA가 SC23에서 발표한 그레이스 호퍼를 사용하는 여러 새로운 슈퍼컴퓨터 중 하나입니다.
또한, 휴렛팩커드 엔터프라이즈의 HPE Cray EX2500 시스템은 내년에 출시될 많은 AI 슈퍼컴퓨터에 쿼드 GH200을 사용할 예정입니다.
예를 들어, HPE는 쿼드 GH200을 사용하여 미국 국립 슈퍼컴퓨팅 애플리케이션 센터의 컴퓨팅 용량을 세 배로 늘릴 DeltaAI 시스템을 구동합니다.
또한 HPE는 미국 최초로 GH200을 배치한 로스알라모스 국립연구소의 Venado 시스템을 구축하고 있으며, 중동, 스위스, 영국에도 GH200 슈퍼컴퓨터를 구축하고 있습니다.
이와는 별도로 후지쯔는 츠쿠바 대학과 도쿄 대학이 공유하는 일본의 첨단 HPC 시스템인 OFP-II 시스템에 슈퍼마이크로에서 제조한 GH200을 사용할 예정입니다.
텍사스와 그 너머의 그레이스 호퍼
델 테크놀로지스는 텍사스 첨단 컴퓨팅 센터(TACC)에서 엔비디아 그레이스 호퍼 및 그레이스 CPU 슈퍼칩으로 비스타 슈퍼컴퓨터를 구축하고 있습니다.
NASA 에임스 연구 센터, 토탈 에너지 등 100개 이상의 글로벌 기업과 조직이 이미 그레이스 호퍼 조기 액세스 시스템을 구매했다고 벅은 말합니다.
이들은 이전에 발표된 소프트뱅크, 브리스톨 대학교 등 GH200 사용자들과 이탈리아의 시네카 컨소시엄을 위해 10 엑사플롭의 AI 성능을 제공하는 14,000개의 엔비디아 A100 GPU가 탑재된 대규모 레오나르도 시스템에 합류했습니다.
슈퍼컴퓨팅 센터에서 바라본 미래
전 세계 슈퍼컴퓨팅 센터의 리더들은 최신 시스템으로 진행 중인 작업과 계획을 공유했습니다.
알프스 슈퍼컴퓨터를 연구하는 스위스 국립 슈퍼컴퓨팅 센터의 디렉터인 토마스 슐테스는 “우리는 빅데이터 분석 및 극한 규모의 컴퓨팅의 모든 측면에서 한계를 뛰어넘을 인프라를 구축하기 위해 MeteoSwiss ECMWP는 물론 ETH EXCLAIM 및 NVIDIA의 Earth-2 프로젝트의 과학자들과 협력해 왔습니다.”라고 말했습니다.
“스택 전반에 걸쳐 에너지 효율성이 크게 향상되었습니다.”라고 TACC의 전무 이사 Dan Stanzione은 Vista에 대해 말했습니다.
그는 “사용자가 과거에 사용하던 시스템에서 이 새로운 Grace Arm CPU와 Hopper GPU가 긴밀하게 결합된 조합으로 전환할 수 있는 디딤돌이 될 것”이라며 “몇 년 후 Horizon을 배포할 때 Vista로 배포하는 것보다 10배 또는 15배 정도 확장할 수 있을 것으로 기대하고 있습니다.”라고 말했습니다.
퀀텀 여정 가속화
연구원들은 또한 오늘날의 가속화된 시스템을 사용하여 미래의 슈퍼컴퓨터로 가는 길을 개척하고 있습니다.
독일에서 줄리히의 양자 정보 처리 연구 그룹을 이끌고 있는 크리스텔 미켈슨은 “기후, 재료, 신약 개발 및 양자 컴퓨팅 전반에 걸쳐 과학 연구에 혁명을 일으킬 것”이라고 말합니다.
“또한, 주피터의 아키텍처는 양자 알고리즘을 병렬 HPC 알고리즘과 원활하게 통합할 수 있으며, 이는 효과적인 양자 HPC 하이브리드 시뮬레이션을 위해 필수적입니다.”라고 그녀는 말했습니다.
CUDA 퀀텀 드라이브의 발전
특별 연설에서는 CPU, GPU 및 양자 컴퓨터 프로그래밍을 위한 플랫폼인 엔비디아 쿠다 퀀텀(CUDA Quantum)이 어떻게 양자 컴퓨팅 연구를 발전시키고 있는지도 소개했습니다.
예를 들어, 세계 최대 화학 기업인 BASF의 연구원들은 유해한 금속으로부터 인간을 보호할 수 있는 화학 물질을 시뮬레이션하기 위한 새로운 하이브리드 양자 고전적 방법을 개척했습니다. 이들은 쿠다 퀀텀을 통해 과학의 경계를 넓히고 있는 브룩헤이븐 국립연구소 및 HPE의 연구자들과 협력하고 있습니다.
또한 엔비디아는 양자 프로그래밍 툴 개발사인 Classiq과 협력하여 이스라엘 최대 교육 병원인 텔아비브 수라스키 메디컬 센터에 생명과학 연구 센터를 설립한다고 발표했습니다. 이 센터에서는 Classiq의 소프트웨어와 NVIDIA DGX H100 시스템에서 실행되는 CUDA 퀀텀을 사용할 예정입니다.
이와는 별도로, 퀀텀 머신은 과학 분야 전반의 발전을 목표로 하는 이스라엘 국립 양자 센터에 그레이스 호퍼 슈퍼칩을 사용하는 최초의 엔비디아 DGX 퀀텀 시스템을 구축할 예정입니다. 이 DGX 시스템은 퀀트웨어의 초전도 GPU와 ORCA 컴퓨팅의 광자 GPU에 연결되며, 둘 다 쿠다 퀀텀으로 구동됩니다.
Buck은 “불과 2년 만에 엔비디아의 양자 컴퓨팅 플랫폼은 120개 이상의 파트너를 확보했으며, 이는 개방적이고 혁신적인 플랫폼이라는 것을 입증하는 것입니다.”라고 말했습니다.
전반적으로, 여러 분야에 걸친 연구는 데이터센터 규모의 가속 컴퓨팅과 엔비디아의 풀스택 혁신을 결합하는 새로운 트렌드를 보여줍니다.
“가속 컴퓨팅은 놀라운 기술뿐만 아니라 더욱 지속 가능하고 영향력 있는 미래를 제공하는 발전을 통해 지속 가능한 컴퓨팅을 위한 길을 열어가고 있습니다.”라고 그는 결론지었습니다.
아래에서 NVIDIA의 SC23 스페셜 세션을 시청하세요.