슈퍼 컴퓨터가 우리 시대의 가장 큰 도전 과제를 해결하는데 핵심적 역할을 하게 되면서, 고성능 컴퓨팅 분야에서 엔비디아가 하는 역할도 점차 커지고 있습니다.
미 댈러스에서 열리는 연례 SC18 슈퍼컴퓨팅 컨퍼런스 시작을 몇 시간 앞두고 젠슨 황(Jensen Huang) 엔비디아 CEO는 700여 연구자들과 실험실 책임자, 임원 등을 상대로 기업이 대규모 슈퍼컴퓨팅 시스템에 중점을 두고 슈퍼컴퓨팅 시스템을 구축하도록 하는 힘을 비롯해, 연구진, 데이터 과학자, 개발자 들이 필요로 하는 많은 GPU의 힘을 활용할 수 있도록 슈퍼컴퓨팅을 확장하려는 노력에 대해 언급했습니다.
젠슨 황 CEO는 “HPC 업계는 근본적으로 변하고 있다”며, “과학 컴퓨팅에서 시작되었으며, 아키텍처가 대거 확장되었다. 그 목적은 기본 원칙부터 물리 법칙을 시뮬레이션 하는 것이었다. 앞으로도 우리는 이를 계속해 나가겠지만, 지금 우리에겐 새로운 도구가 있다. 바로 머신 러닝이다”라고 말했습니다.
최근 10년간 기업과 연구자들 사이에서 활발히 채택된 머신 러닝은 강력한 GPU 가속 기계로 확장할 수 있는 능력 뿐만 아니라, 확산 중인 GPU 기반 데이터 센터로 워크로드를 축소할 수 있도록 급증하는 능력도 활용할 수 있게 되었습니다.
전 세계 슈퍼컴퓨터를 확장하다
그 이유는 데이터 과학자들이 현재 마주하고 있는 문제는 하이퍼스케일 커뮤니티가 10년 이상 겪어온 것과 동일한 문제이기 때문인데요, 바로 그간 CPU가 제공하는 컴퓨팅 파워 증가를 주도해 온 무어의 법칙마저 그렇듯 작업 가속화를 이어나가야 할 필요성이 점차 희박해지고 있다는 점입니다.
세계에서 가장 빠른 슈퍼컴퓨터 500개 리스트 최신 버전에 따르면, 올해 전 세계 500대 슈퍼컴퓨터 중 엔비디아로 구동되는 컴퓨터는 127대라고 합니다. 이 500대 컴퓨터의 전체 프로세싱 파워 중 거의 절반이 GPU로 작동합니다.
엔비디아 GPU는 세계에서 가장 빠른 두 대의 컴퓨터에 장착되었을 뿐만 아니라, 가장 에너지 효율적인 슈퍼컴퓨터를 보여주는 그린500(Green500) 리스트의 상위 25개 컴퓨터 중 22개에도 장착되어 있습니다.
젠슨 황 CEO는 “세계에서 가장 빠른 1위 슈퍼컴퓨터와 미국에서 가장 빠른 슈퍼 컴퓨터, 유럽에서 가장 빠른 슈퍼컴퓨터, 일본에서 가장 빠른 슈퍼컴퓨터 모두 엔비디아 볼타 V100(Volta V100)으로 구동된다”고 말했습니다.
하나의 아키텍처 – 수평/수직으로 확장
엔비디아는 전 세계 데이터 센터로 확장할 수 있는 능력을 제공합니다. 혁신적인 다중 정밀 텐서 코어(Tensor Cores)가 장착된 엔비디아의 새로운 T4 클라우드 GPU는 기록적인 채택 속도를 보이고 있습니다. 젠슨 황 CEO는 이 GPU가 전 세계 유수 컴퓨터 제조사가 제공하는 57개 서버에 사용되었을 뿐만 아니라 구글 클라우드 플랫폼에서도 사용할 수 있다고 밝혔습니다.
“도입 30일 만에 구글 글라우드가 보인 빠른 작동 속도에 놀라움을 금치 못했다. 클라우드에서 대규모로 배포된 것” 이라고 그는 말했습니다.
또 다른 확장 사례로는 엔비디아 DGX-2가 있습니다. NVLink와 연결된 16 V100 GPU를 갖춘 단일 노드로, 2 페타플롭(petaflop)의 프로세싱 파워를 제공합니다.
젠슨 황 CEO는 현장에서 이 시스템을 여러 번 보여주었습니다. HGX-2 보드에서 들어올리며 “진짜 무겁다”고 너스레를 떨고, 이걸 쥐고 있으려면 ‘진짜 힘 세야 한다’고 말했습니다. DGX-2의 핵심을 이루는 것이 바로 두 대의 HGX-2 보드이며, 이 보드는 주요 OEM사를 통해 판매되고 있습니다.
젠슨 황 CEO는 이를 “진정한 ‘확장’이며, 확장 컴퓨팅 그 자체”라고 말했습니다.
이 시스템은 지난 10년간 개발자들이 공들여 구축해 온 단일 소프트웨어 생태계에서 실행되므로, 개발자들은 더 많은 GPU 상에서 즉시 확장할 수 있다고 젠슨 황 CEO는 설명합니다.
이러한 노력의 일환으로 그는 슈퍼컴퓨팅 사용자들이 대규모 클러스터에서 GPU 가속 애플리케이션을 실행할 수 있도록 하는 새로운 다중 노드 HPC와 NGC 컨테이너 레지스트리(NGC container registry)용 시각화 컨테이너를 발표했습니다. 또한 엔비디아는 상위 업체들이 제공하는 워크스테이션과 서버가 포함된 새로운 NGC-레디 프로그램(NGC-Ready program)도 발표했습니다.
이들 시스템은 하나의 시스템 또는 여러 시스템에서 작동하는 더 많은 소프트웨어를 실행할 준비를 갖췄습니다. 젠슨 황 CEO는 “이는 여러분이 원하는 앱을 갖춘 앱 스토어가 아니라, 여러분이 필요로 하는 앱을 갖춘 앱 스토어”라고 비유했으며, “하나같이 정성스럽게 유지되고 테스트 되었으며 최적화 되었다”고 말했습니다.
호환 가능한 아키텍처
이들 모두는 엔비디아가 10년 넘게 개발을 이어온 CUDA 기반 상에 구축되었습니다. “이는 과거에 한 투자를 미래로 이어갈 수 있는 기반”이라는 것이 젠슨 황 CEO의 설명입니다.
각각 버전 10.0으로 제공되는 새로운 CUDA 버전은 기존 버전보다 빠른 성능을 제공하며, 테슬라(Tesla), 페르미(Fermi), 케플러(Kepler), 맥스웰(Maxwell), 볼타(Volta), 그리고 지금의 튜링(Turing)과 같은 새로운 GPU 아키텍처는 CUDA 에서 실행되는 소프트웨어를 가속화 합니다.
젠슨 황 CEO는 “소프트웨어 투자 효과가 오래 지속되며, 하드웨어 투자는 즉시 가치를 발휘한다”고 말했습니다.
세계 최고 수준의 HPC에 장착된 GPU
이러한 성능은 세계 연구자들에 상당한 이점을 제공합니다. 엔비디아 GPU는 세계에서 가장 빠른 슈퍼컴퓨터로 등극한 오크 리지 국립연구소(Oak Ridge National Laboratory)의 서밋(Summit) 슈퍼컴퓨터와 ACM 고든 벨 상에서 결선에 진출한 6개 HPC 중 5개에 사용되고 있습니다.
혁신적인 고성능 컴퓨팅 성과 사례를 기리는 고든 벨 상 수상자는 목요일 쇼 말미에 발표될 예정입니다.
이제 GPU는 더 많은 머신 러닝 관련 비즈니스와 연구진들에 의해 사용되고 있습니다. 젠슨 황 CEO는 컴퓨터 산업 전반이 고성능 컴퓨팅으로 나아가고 있다는 점을 언급했습니다.
데이터 분석과 머신 러닝 가속화용 오픈 소스 소프트웨어인 래피즈(RAPIDS)는 데이터 사이언티스트가 엔비디아 GPU에서 엔드-투-엔드 데이터 사이언스 교육 파이프라인을 실행할 수 있도록 합니다. 데이터 사이언티스트들이 일하는 방식 그대로 작동한다고 젠슨 황 CEO는 설명합니다.
래피즈는 저수준 컴퓨팅 최적화를 위해 CUDA 명령어를 사용하지만, 사용자 친화적인 파이썬(Python) 인터페이스를 통해 GPU 병렬 처리와 높은 메모리 대역폭을 제공합니다. 래피즈 오픈 소스 소프트웨어 라이브러리는 판다스(pandas) API를 모방하며, 아파치 애로우(Apache Arrow) 상에 구축되어 상호운용성과 성능을 극대화합니다.
젠슨 황 CEO는 “우리는 이 플랫폼을 매우 쉽게 활용할 수 있도록 만들었으며, 완전히 오픈 소스화 했다”고 말했습니다.
꽃으로 보여준 엔비디아 GPU 파워
그는 또한 꽃을 식별하는 추론 데모 최신 버전도 시연했습니다. 매 시연을 거듭하며 놀랍도록 성장하는 듯 한데요, 인텔 CPU를 실행하는 시스템이 초당 5개 이미지를 분류하는 방법을 보여주는 것으로 시작해, 구글 클라우드 상에서 새로운 엔비디아 T4 GPU가 NGC를 활용해 초당 5만여 건 이상의 꽃 이미지를 인식하는 모습을 보여주었습니다.
젠슨 황 CEO는 멋진 은하풍 모델을 보여주며 또 다른 은하로 관객을 안내했습니다. 은하수 크기의 1/5에 불과한 은하였는데요, 이를 패러뷰(ParaView) 데이터 분석과 시각화 애플리케이션용 엔비디아 플러그인인 인덱스(IndeX)가 GPU를 활용해 놀라운 수준의 대규모 데이터세트에서 실시간 성능을 제공하는 모습을 보여주기 위한 비유로 활용했습니다. 관객들은 몇 번의 키 입력으로 7 테라바이트 데이터세트가 사방팔방으로 날아가는 가스의 대화식 시뮬레이션으로 전환되는 모습을 지켜보았습니다. 마치 축을 중심으로 회전하는 은하처럼 말이죠.
또한 그는 COSMO WRF나 MPA와 같은 핵심 도구를 실행하는 GPU 가속 시스템으로 HPC가 가진 가장 큰 과제 중 하나를 해결할 수 있는 모습을 보여주었습니다. 바로 날씨 예측인데요, 알프스 일대 지역 기상 상황을 보여주는 훌륭한 시각 모델을 만들어 냈습니다.
“지금 우리가 보는 건 영상이 아니라 미세 기상 예측의 미래이다. 이는 연구자들이 GPU 기반 시스템을 간절히 원하는 이유와 GPU 덕분에 세계에서 가장 빠른 컴퓨터에 대한 수요도 그 어느 때보다 빠르게 증가하는 이유를 보여주는 한 가지 최신 사례에 불과하다”고 라고 젠슨 황 CEO는 말했습니다.