엔비디아, 빅데이터 분석과 머신 러닝용 RAPIDS GPU 가속 플랫폼 공개

by NVIDIA Korea

엔비디아가 데이터 사이언스와 머신 러닝(Machine Learning)용으로 설계된 ‘래피즈(RAPIDS™) GPU 가속 플랫폼’을 공개했습니다. 이미 유수의 업계 선도기업들이 채택한 이 플랫폼은 대기업들이 대량의 데이터를 분석해 전례 없는 속도로 정확하게 비즈니스 예측을 수행합니다.

래피즈 오픈소스 소프트웨어는 데이터 사이언스들이 신용카드 사기 예측, 소매 재고 예측, 고객의 구매 행동 파악 등 매우 복잡한 비즈니스 과제를 해결할 때 엄청난 성능 향상을 제공합니다. 데이터 분석에서 GPU의 중요성에 대한 인식이 확대됨에 따라, 데이터브릭스(Databricks), 아나콘다(Anaconda)와 같은 오픈소스 커뮤니티 선구자들부터 HPE, IBM, 오라클(Oracle) 등 많은 기술 선도기업들이 래피즈 플랫폼을 지원합니다.

연구원들은 연간 200억 달러 규모의 데이터 사이언스와 머신 러닝용 서버 시장이 과학적 분석의 딥 러닝과 결합돼 고성능 컴퓨팅 시장의 가치를 360억 달러까지 끌어올릴 것으로 전망됩니다.

젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 지난 10월 9일부터 독일에서 열린 ‘GTC(GPU Technology Conference) 유럽 2018’의 기조연설에서 래피즈 플랫폼을 공개하며 “고성능 컴퓨팅 시장에서 아직 가속화되지 않은 가장 큰 분야가 바로 데이터 분석과 머신 러닝”이라며, “세계 최대 산업들은 무수한 서버에서 머신 러닝을 통해 작성된 알고리즘을 사용해 시장과 환경의 복잡한 패턴을 파악하고 수익에 직접적인 영향을 주는 빠르고 정확한 예측을 수행한다”고 설명했습니다.

그는 이어 “래피즈 GPU 가속 플랫폼은 쿠다(CUDA)와 이의 글로벌 생태계에 기반해 구축됐으며, 오픈소스 커뮤니티와의 긴밀한 협력 하에 탄생했다. 이 플랫폼은 업계에서 가장 널리 사용되는 데이터 사이언스 라이브러리와 워크플로우에 원활히 통합돼 머신 러닝 속도를 향상시킨다. 엔비디아는 딥 러닝에 구현했던 것과 마찬가지로 머신 러닝 속도를 대거 끌어올리고 있다”고 말했습니다.

GPU 가속 분석, 머신 러닝, 그리고 곧 추가될 데이터 시각화를 위한 일련의 오픈소스 라이브러리를 제공하는 래피즈는 엔비디아 엔지니어들이 지난 2년간 오픈소스에 기여하는 핵심 관계자들과 긴밀히 협업해 개발한 제품입니다.

이 제품은 업계 최초로 과학자들이 GPU에서 전체 데이터 사이언스 파이프라인을 실행하는데 필요한 도구를 제공합니다. 엔비디아 DGX-2™ 시스템 교육을 위한 XG부스트(XGBoost) 머신 러닝 알고리즘을 사용하는 초기 래피즈 벤치마킹은 CPU 전용 시스템 대비 50배 빠른 속도를 보여줍니다. 이를 통해 데이터 과학자들은 자체 데이터 세트 크기에 따라 교육 시간을 기존 며칠에서 몇 시간으로, 몇 시간에서 몇 분으로 단축할 수 있습니다.

오픈소스 커뮤니티와의 긴밀한 협업

래피즈는 가장 널리 사용되는 파이썬(Python) 데이터 사이언스 툴체인에 GPU 가속을 추가함으로써, 아파치 애로우(Apache Arrow), 팬더스(Pandas), 사이킷-런(scikit-learn)과 같은 주요 오픈소스 프로젝트를 기반으로 구축됐습니다. 엔비디아는 래피즈에 추가적인 기능과 머신 러닝 라이브러리를 제공하기 위해 오픈소스 생태계에 기여하고 있는 아나콘다, 블래이징DB(BlazingDB), 데이터브릭스, 콴사이트(Quansight), 사이킷-런과 더불어, 우르사 랩(Ursa Labs)의 대표이자 팬더스와 아피치 애로우 창시자인 웨스 매키니(Wes McKinney), 그리고 가장 빠르게 성장하고 있는 데이터 사이언스 라이브러리인 파이썬과 협력하고 있습니다.

웨스 매키니 대표는 “GPU 가속 데이터 사이언스 플랫폼인 래피즈는 아파치 애로우로 실행되는 차세대 컴퓨팅 생태계”라며, “엔비디아와 우르사 랩의 협업으로 핵심 애로우 라이브러리의 속도가 한층 가속화되고, 분석과 기능 엔지니어링 작업 성능을 크게 향상시킬 것”이라고 말했습니다.

엔비디아는 또한 래피즈 플랫폼의 채택 범위를 확대하기 위해 래피즈를 분석과 데이터 사이언스를 위한 선도적인 오픈소스 프레임워크인 아파치 스파크(Apache Spark)와 통합 중에 있습니다.

데이터브릭스의 공동 창립자 겸 최고기술책임자(CTO)이자 아파치 스파크의 창립자인 마테이 자하리아(Matei Zaharia)는 “데이터브릭스는 아파치 스파크 워크로드를 가속화할 수 있는 래피즈의 가능성에 한껏 고무된 상태이다. 아파치 애로우 지원과 프로젝트 하이드로젠(Project Hydrogen)을 통한 GPU 스케줄링을 포함해 스파크를 네이티브 가속기와 보다 효과적으로 통합할 수 있는 여러 프로젝트를 진행 중이다. 래피즈는 우리 고객의 데이터 사이언스와 인공지능(AI) 워크로드를 확장시켜줄 새로운 기회”라고 설명했습니다.

광범위한 생태계 지원 및 채택

다양한 업계에 걸친 기술 선도기업들은 일찍이 엔비디아의 GPU 가속 플랫폼과 래피즈를 도입해 활용하고 있습니다.

제레미 킹(Jeremy King) 월마트(Walmart) 수석 부사장 겸 CTO는 “래피즈 소프트웨어와 더불어 엔비디아의 GPU 가속 플랫폼은 우리가 데이터를 사용하는 방식을 대폭 개선시켰다. 가장 복잡한 모델도 대규모로 실행할 수 있으며, 한층 정확한 예측이 가능해졌다”며, “래피즈는 엔비디아와 월마트 엔지니어들 간의 긴밀한 협업을 바탕으로 하고 있으며, 이러한 관계를 더욱 발전시켜 나갈 것”이라고 말했습니다.

뿐만 아니라, 세계 유수 기술 기업들 중 일부도 새로운 시스템과 데이터 사이언스 플랫폼, 소프트웨어 솔루션을 통해 래피즈를 지원합니다.

안토니오 네리(Antonio Neri) HPE CEO는 “HPE는 고객의 삶과 업무 방식을 향상시키는데 전념하고 있다. AI, 분석과 머신 러닝 기술은 고객들이 획기적인 결과를 달성하고 우리가 사는 세상을 개선시킬 수 있는 통찰을 발견하는데 중요한 역할을 한다. HPE는 전략적 자문부터 특별 설계된 GPU 가속기 기술, 운영 지원, 탄탄한 파트너 생태계에 이르는 완전한 AI와 데이터 분석 솔루션을 통해 고객 맞춤형 솔루션을 제공하는데 독보적인 입지를 보유하고 있다. 엔비디아와의 협력을 통해 래피즈로 데이터 사이언스와 머신 러닝 애플리케이션을 가속화함으로써, 고객들이 더욱 빠르고 한층 통찰력 있는 결과를 도출하도록 지원하게 되어 기쁘게 생각한다”고 설명했습니다.

알뷘드 크리쉬나(Arvind Krishna) IBM 하이브리드 클라우드 부문 수석 부사장은 “IBM은 배포 모델에 구애 받지 않는 업계 선도적인 엔터프라이즈 AI 플랫폼을 구축했다. IBM은 래피즈를 통해 엔비디아와의 성공적인 파트너십을 확대시켜 우리 고객들에게 새로운 머신 러닝 툴을 제공할 것”이라고 말했습니다.

클레이 마요우르크(Clay Magouyrk) 오라클 클라우드 인프라 소프트웨어 개발 담당 수석 부사장은 “오늘날 컴퓨팅 환경은 데이터 사이언스와 분석 등 복잡한 워크로드를 처리할 수 있는 강력한 프로세싱을 필요로 한다. 이것이 바로 엔비디아 GPU가 하는 일이다. 래피즈는 이 프로세싱과 머신 러닝 교육이 할 수 있는 작업 속도를 가속화한다. 오라클 클라우드 인프라에서 새로운 오픈소스 소프트웨어를 기본적으로 지원하게 되어 기쁘게 생각한다. 오라클 데이터 사이언스 클라우드(Oracle Data Science Cloud)를 포함한 오라클 플랫폼 전반에 걸쳐 래피즈를 지원하기 위해 엔비디아와 계속해서 협력해 나갈 예정이다. 이를 통해 우리 고객들의 엔드-투-엔드 데이터 사이언스 워크플로우를 더욱 가속화하도록 지원할 계획이다. 또한, 래피즈 소프트웨어는 오라클 클라우드에서 원활하게 구동되므로, 고객들은 오라클 클라우드 인프라에서 사용할 수 있는 GPU 인스턴트 포트폴리오를 활용하면서 고성능컴퓨팅(HPC), AI와 데이터 사이언스 요구사항을 충족시킬 수 있다”고 말했습니다.

이용 안내

래피즈 오픈소스 라이브러리는 https://www.rapids.ai에서 즉시 액세스 가능하며, 코드는 아파치 라이선스 하에 배포됩니다. 래피즈 컨테이너 버전은 NVIDIA GPU Cloud container registry에서 이용 가능합니다.

또한, 래피즈를 비롯한 최신 엔비디아 AI 테크놀로지에 대한 세션과 데모는 오는 11월 7-8일 개최되는 엔비디아 AI 컨퍼런스 https://www.nvidia.com/ko-kr/ai-conference/에서 확인해보세요.