엔비디아가 매그넘(Magnum) IO를 발표했습니다. 매그넘 IO는 데이터 과학자 및 고성능컴퓨팅(HPC) 연구원들이 엄청난 양의 데이터를 단 몇 분 내에 처리할 수 있도록 지원하는 소프트웨어 제품군입니다.
스토리지 및 인풋·아웃풋(I/O) 병목현상 제거에 최적화된 매그넘 IO는 복잡한 금융 분석, 기후 모델링과 기타 HPC 워크로드를 수행하기 위해 엄청난 양의 데이터 세트로 작업할 때 멀티 서버, 멀티 GPU 컴퓨팅 노드의 데이터 처리 속도를 최대 20배까지 개선합니다.
엔비디아는 데이터다이렉트 네트웍스(DataDirect Networks), 엑셀레로(Excelero), IBM, 멜라녹스(Mellanox), 웨카IO(WekaIO) 등을 비롯한 네트워킹과 스토리지 분야의 업계 선두기업들과 긴밀한 협업을 통해 매그넘IO를 개발했습니다.
젠슨 황 CEO는 “대량의 수집된 데이터나 시뮬레이션 된 데이터를 처리하는 것은 인공지능과 같은 데이터 중심 과학의 핵심입니다. 데이터의 규모와 속도가 기하급수적으로 증가하면서, 데이터 처리는 데이터센터의 주요 도전과제이자 비용 문제 중 하나로 떠올랐죠”라고 설명했습니다.
이어서 젠슨 황 CEO는 “초고성능의 컴퓨팅에는 마찬가지로 초고성능의 I/O가 필요합니다. 매그넘 IO는 컴퓨팅을 혁신한 엔비디아의 GPU 가속을 I/O 및 스토리지에 제공함으로써 이를 구현합니다. 이제 AI 연구진 과 데이터 과학자들은 데이터를 기다릴 필요없이 본연의 핵심 업무에 집중할 수 있게 됐습니다”라고 덧붙였습니다.
매그넘 IO의 핵심에는 GPU 다이렉트(GPUDirect)가 있는데, 이는 데이터가 CPU를 우회하여 GPU, 스토리지 와 네트워킹 디바이스가 제공하는 ‘개방형 고속도로’로 이동할 수 있는 경로를 제공합니다. 엔비디아 NV링크(NVLink)와 NCCL은 물론이고 OpenMPI와 UCX를 비롯한 다양한 통신 인터커넥트 및 API와 호환되는 GPU 다이렉트는 P2P와 RDMA(Remote Direct Memory Access) 엘리먼트로 구성됩니다.
가장 최근 추가된 GUP 다이렉트 스토리지(GPUDirect Storage) 엘리먼트를 통해 연구원들은 스토리지에 접근할 때 CPU를 우회하고 재빨리 데이터 파일에 접근하여 시뮬레이션이나, 분석 또는 시각화 작업을 수행할 수 있습니다.
GPU 다이렉트 스토리지를 제외하고, 엔비디아 매그넘 IO 소프트웨어는 현재 구매 가능하며, GPU다이렉트 스토리지 경우는 현재는 얼리 액세스(early access) 대상 일부 고객들에게만 제공되고 있습니다. GPU 다이렉트 스토리지의 일반 출시는 2020년 상반기 중으로 예정돼 있습니다.
이에 대한 업계의 반응을 어떨까요?
“오늘날의 HPC와 AI 연구는 그 규모가 보통 페타바이트가 넘는 엄청난 양의 데이터에 의존합니다. 그렇기 때문에 이 문제를 가장 잘 해결하기 위해서는 새로운 차원의 기술 리더십이 필요하죠. DDN은 엔비디아의 매그넘 IO 소프트웨어 제품군을 당사의 병렬 EXA5 스토리지 아키텍처와 함께 이용함으로써 페타바이트 규모의 데이터 스토어가 GPU에 바로 접근할 수 있도록 하는 새로운 데이터 경로를 만들어가고 있습니다. 이러한 방식은 과거에는 불가능했던 것이죠” – DDN, 최고연구개발책임자 스벤 오흐메(Sven Oehme)
“주요 HPC와 AI 연구원들이 현재 접근해야 하는 데이터 양이 계속해서 급속하게 늘어나면서 I/O가 많은 이들에게 복잡한 관리 문제가 되고 있습니다. IBM 스펙트럼 스케일(IBM Spectrum Scale)은 AI를 가속화하고, 데이터 집약적 워크로드를 처리하기를 원하는 모든 조직의 니즈를 해결하기 위해 구축되었습니다. IBM 스펙트럼 스케일과 엔비디아 GPU 가속화를 사용하면 고객들은 I/O 병목현상을 제거하고 데이터로부터 필요한 정보를 더 빨리 얻을 수 있습니다.” – IBM의 스토리지 오퍼링 관리 담당 VP, 샘 워너(Sam Werner)
“주요 HPC와 AI 연구원들은 엄청남 양의 데이터를 가능한 신속하고 효율적으로 이동하고 처리하기 위해서 가장 발전된 기술을 확보하고자 멜라녹스를 선택합니다. 멜라녹스는 매그넘 IO가 멜라녹스의 최신 인피니밴드(InfiniBand)와 이더넷(Ethernet) 인터커넥트 솔루션과 문제없이 호환되고, 양사의 고객들이 데이터 병목현상을 완전히 없애고, 과학, 연구, 제품 개발 활동을 추진해 나갈 수 있도록 엔비디아와 협력하고 있습니다” – 멜라녹스 테크놀로지스(Mellanox Technologies), 소프트웨어 아키텍처 담당 SVP, 드로어 골덴베르크(Dror Goldenberg)