월마트(Walmart)는 세계에서 가장 큰 소매업체입니다. 또 가장 경쟁력 있는 기술 회사 중 하나죠. 월마트가 가장 잘 사용하는 첨단기술 도구가 두 개 있는데요. 바로 NVIDIA GPU와 NVIDIA RAPIDS 데이터 사이언스 소프트웨어입니다.
최근 미국 샌프란시스코에서 열린 ‘VentureBeat Transform’ 컨퍼런스에서 월마트의 최고 데이터 책임자 빌 그로브스(Bill Groves)는 월마트의 데이터 처리와 머신 러닝 생태계에 대해서 설명했습니다.
그로브스는 NVIDIA의 데이터 사이언스 총괄 매니저인 조쉬 패터슨(Josh Patterson)과의 대화에서 “패러다임이 변화했고 이전에 결코 가질 수 없었던 것들을 얻을 수 있는 시대가 왔죠”라고 말하며, 과거에는 데이터 과학자들이 신경망 같은 복잡한 아이디어들을 수행하기 위한 컴퓨팅 역량이 부족했었다는 점에 주목했습니다.
패터슨은 “GPU는 이러한 기술들이 실행될 수 있도록 하며, 따라서 많은 문제가 해결될 수 있답니다”라고 말했습니다.
그로브스가 설명하는 핵심 도구 중 하나는 NVIDIA RAPIDS인데요. GPU로 가속화된 이 라이브러리의 오픈소스는 월마트가 기업의 대규모 데이터 분석과 머신 러닝을 가속화 할 수 있도록 지원합니다.
패터슨은 “우리는 대학 교육을 받으면 누구나 알 수 있는 데이터 사이언스에 GPU를 사용해 규모를 확장하고 싶었습니다” 라며, “더 많은 양의 데이터를, 더욱 빨리 처리하도록 지원할 수 있죠”라고 말했습니다.
그로브스와 연구팀은 RAPIDS를 Dask와 XGBoost라는 두 가지 다른 기술을 함께 사용합니다. Dask는 Python에서 병렬 컴퓨팅을 위한 라이브러리로 데이터 사이언스 작업량의 확장을 위해 사용하죠.
또한 대중적 알고리즘인 XGBoost 여러 개의 GPU가 장착된 서버에서 머신 러닝 모델들을 훈련시키는 데 사용됩니다.
여러 가지 기술들을 조합해 사용한 결과 그로브스와 연구팀은 이전에 비해 100배 더 빠른 속도로 데이터를 처리할 수 있게 됐습니다.
대형 소매업 월마트에 빠른 데이터 처리 작업 능력은 매우 중요합니다. 제품 예측부터 공급망 관리, 소비자 구매 동향과 라스트마일(last mile) 배송까지, 머신 러닝 알고리즘은 월마트가 2억 6,500만 명 이상의 주간 고객들에게 더 개선된 서비스를 제공하는 데에 도움을 줍니다.
그로브스는 월마트가 현재 매주 5억 개의 세트 판매 제품의 예측을 위해 이 기술을 사용하고 있다고 설명했습니다. 이에 대해 “더 강한 컴퓨팅 파워는 우리가 더 많은 데이터를 가져와 그 데이터를 더 빨리 처리할 수 있게 하죠”라고 말했습니다.
날씨나 지역 스포츠 이벤트 같은 요소들이 판매를 촉진한다는 것은 유통업계에서 통하는 기본적인 법칙인데요. GPU는 그로브스와 연구팀에게 날씨나 이벤트 같은 데이터를 이용할 수 있는 컴퓨팅 파워를 제공합니다.
그로브스는 “고객은 제품을 구매할 때 원하는 제품이 바로 앞에 진열돼 있기를 원하며 이는 월마트가 실행을 위해 노력하고 있는 부분이기도 합니다”라고 말했습니다.
월마트는 더 나아가 공급망, 물류, 상품화, 그리고 기타 오프라인 점포와 전자상거래 기능 등 다른 용도로도 기술을 확대할 계획입니다.
월마트와 엔비디아가 협력하면 최첨단 GPU 기술을 더 빨리 통합할 수 있습니다. 이로 인해 월마트는 업계를 선도하고, 예산을 절감하며, 특정 사용 사례를 위한 개발과 최적화를 촉진할 수 있습니다.
그로브스는 “우리는 모든 것을 만들 수도 없을 뿐더러, 그것을 원하는 것도 아닙니다”라며, “정말 바라는 것은 기본 토대인 플랫폼을 구축해 차세대 데이터 과학자들이 이 문제를 해결할 수 있도록 하는 거죠”라고 말했습니다.
엔비디아는 월마트와의 협력을 통해 세계 최대 소매업체에서 실시간으로 생산되는 데이터와 기술을 시험해볼 수 있는 좋은 기회를 얻게 됩니다.
패터슨은 “연구팀 덕분에 생태계가 빠르게 성장할 수 있으며 사용 가능한 소프트웨어를 갖고 있다는 확신을 가질 수 있습니다”라고 말했습니다.
제품 예측 정확도를 개선하다
그로브스는 제품 예측 정확도가 크게 향상돼 CPU에서 몇 주가 걸릴 모델을 실행하는 데 불과 4시간 밖에 걸리지 않으며, 한 개의 GPU 서버로 예측 모델을 실행할 때, 20 노드 CPU 서버로 걸리던 시간의 4%만이 소요된다고 설명했습니다.
이전에는 약한 컴퓨팅 파워 때문에 데이터 과학자들이 실행 속도를 고려해 알고리즘을 단순화해야만 했다면 이제는 더 이상 그럴 필요가 없어졌죠. 그로브스는 “GPU 덕분에 이전에는 할 수 없었던 것들이 가능해졌습니다”라고 말했습니다.
이에 따라 월마트의 데이터 과학자들은 시간 낭비를 줄여 더 많은 새로운 기능들을 실험하고 개발 주기를 감소 시킬 수 있죠.
그로브스는 “수학과 과학은 지난 30년에서 50년 동안 변하지 않았습니다. 하지만 기술력은 이들 분야에 변화를 가져와 새로운 기회들을 만들어냈습니다”라고 말했습니다.
월마트는 낮은 비용과 함께 환경에 덜 구애 받는 더 강력한 컴퓨팅 성능을 얻게 됐습니다. 이 모든 노력의 결과로 이제 월마트를 찾는 수만 명의 고객들은 더 합리적인 가격과 더 많은 선택지를 갖고 쇼핑을 할 수 있게 됐죠.