NVIDIA, Walmart와 함께 소매업 패러다임 변화 나섰다

세계적 유통업체 월마트(Walmart)가 엔비디아의 강력한 컴퓨팅 파워 지원으로 데이터 처리와 머신 러닝 생태계를 변혁합니다
by NVIDIA Korea

월마트(Walmart)는 세계에서 가장 큰 소매업체입니다. 또 가장 경쟁력 있는 기술 회사 중 하나죠. 월마트가 가장 잘 사용하는 첨단기술 도구가 두 개 있는데요. 바로 NVIDIA GPU와 NVIDIA RAPIDS 데이터 사이언스 소프트웨어입니다.

최근 미국 샌프란시스코에서 열린 ‘VentureBeat Transform’ 컨퍼런스에서 월마트의 최고 데이터 책임자 빌 그로브스(Bill Groves)는 월마트의 데이터 처리와 머신 러닝 생태계에 대해서 설명했습니다.

그로브스는 NVIDIA의 데이터 사이언스 총괄 매니저인 조쉬 패터슨(Josh Patterson)과의 대화에서 “패러다임이 변화했고 이전에 결코 가질 수 없었던 것들을 얻을 수 있는 시대가 왔죠”라고 말하며, 과거에는 데이터 과학자들이 신경망 같은 복잡한 아이디어들을 수행하기 위한 컴퓨팅 역량이 부족했었다는 점에 주목했습니다.

패터슨은 “GPU는 이러한 기술들이 실행될 수 있도록 하며, 따라서 많은 문제가 해결될 수 있답니다”라고 말했습니다.

그로브스가 설명하는 핵심 도구 중 하나는 NVIDIA RAPIDS인데요. GPU로 가속화된 이 라이브러리의 오픈소스는 월마트가 기업의 대규모 데이터 분석과 머신 러닝을 가속화 할 수 있도록 지원합니다.

패터슨은 “우리는 대학 교육을 받으면 누구나 알 수 있는 데이터 사이언스에 GPU를 사용해 규모를 확장하고 싶었습니다” 라며, “더 많은 양의 데이터를, 더욱 빨리 처리하도록 지원할 수 있죠”라고 말했습니다.

그로브스와 연구팀은 RAPIDS를 Dask와 XGBoost라는 두 가지 다른 기술을 함께 사용합니다. Dask는 Python에서 병렬 컴퓨팅을 위한 라이브러리로 데이터 사이언스 작업량의 확장을 위해 사용하죠.

또한 대중적 알고리즘인 XGBoost 여러 개의 GPU가 장착된 서버에서 머신 러닝 모델들을 훈련시키는 데 사용됩니다.

여러 가지 기술들을 조합해 사용한 결과 그로브스와 연구팀은 이전에 비해 100배 더 빠른 속도로 데이터를 처리할 수 있게 됐습니다.

왼쪽에서부터 기술 공업 분석가 마리벨 로페즈(Maribel Lopez)가 월마트의 최고 데이터 책임자 빌 그로브스(Bill Groves)와 엔비디아의 데이터 사이언스 총괄 매니저인 조쉬 패터슨(Josh Patterson)의 토론에서 사회를 보고 있다.

대형 소매업 월마트에 빠른 데이터 처리 작업 능력은 매우 중요합니다. 제품 예측부터 공급망 관리, 소비자 구매 동향과 라스트마일(last mile) 배송까지, 머신 러닝 알고리즘은 월마트가 2억 6,500만 명 이상의 주간 고객들에게 더 개선된 서비스를 제공하는 데에 도움을 줍니다.

그로브스는 월마트가 현재 매주 5억 개의 세트 판매 제품의 예측을 위해 이 기술을 사용하고 있다고 설명했습니다. 이에 대해 “더 강한 컴퓨팅 파워는 우리가 더 많은 데이터를 가져와 그 데이터를 더 빨리 처리할 수 있게 하죠”라고 말했습니다.

날씨나 지역 스포츠 이벤트 같은 요소들이 판매를 촉진한다는 것은 유통업계에서 통하는 기본적인 법칙인데요. GPU는 그로브스와 연구팀에게 날씨나 이벤트 같은 데이터를 이용할 수 있는 컴퓨팅 파워를 제공합니다.

그로브스는 “고객은 제품을 구매할 때 원하는 제품이 바로 앞에 진열돼 있기를 원하며 이는 월마트가 실행을 위해 노력하고 있는 부분이기도 합니다”라고 말했습니다.

월마트는 더 나아가 공급망, 물류, 상품화, 그리고 기타 오프라인 점포와 전자상거래 기능 등 다른 용도로도 기술을 확대할 계획입니다.

월마트와 엔비디아가 협력하면 최첨단 GPU 기술을 더 빨리 통합할 수 있습니다. 이로 인해 월마트는 업계를 선도하고, 예산을 절감하며, 특정 사용 사례를 위한 개발과 최적화를 촉진할 수 있습니다.

그로브스는 “우리는 모든 것을 만들 수도 없을 뿐더러, 그것을 원하는 것도 아닙니다”라며, “정말 바라는 것은 기본 토대인 플랫폼을 구축해 차세대 데이터 과학자들이 이 문제를 해결할 수 있도록 하는 거죠”라고 말했습니다.

엔비디아는 월마트와의 협력을 통해 세계 최대 소매업체에서 실시간으로 생산되는 데이터와 기술을 시험해볼 수 있는 좋은 기회를 얻게 됩니다.

패터슨은 “연구팀 덕분에 생태계가 빠르게 성장할 수 있으며 사용 가능한 소프트웨어를 갖고 있다는 확신을 가질 수 있습니다”라고 말했습니다.

제품 예측 정확도를 개선하다

그로브스는 제품 예측 정확도가 크게 향상돼 CPU에서 몇 주가 걸릴 모델을 실행하는 데 불과 4시간 밖에 걸리지 않으며, 한 개의 GPU 서버로 예측 모델을 실행할 때, 20 노드 CPU 서버로 걸리던 시간의 4%만이 소요된다고 설명했습니다.

이전에는 약한 컴퓨팅 파워 때문에 데이터 과학자들이 실행 속도를 고려해 알고리즘을 단순화해야만 했다면 이제는 더 이상 그럴 필요가 없어졌죠. 그로브스는 “GPU 덕분에 이전에는 할 수 없었던 것들이 가능해졌습니다”라고 말했습니다.

이에 따라 월마트의 데이터 과학자들은 시간 낭비를 줄여 더 많은 새로운 기능들을 실험하고 개발 주기를 감소 시킬 수 있죠.

그로브스는 “수학과 과학은 지난 30년에서 50년 동안 변하지 않았습니다. 하지만 기술력은 이들 분야에 변화를 가져와 새로운 기회들을 만들어냈습니다”라고 말했습니다.

월마트는 낮은 비용과 함께 환경에 덜 구애 받는 더 강력한 컴퓨팅 성능을 얻게 됐습니다. 이 모든 노력의 결과로 이제 월마트를 찾는 수만 명의 고객들은 더 합리적인 가격과 더 많은 선택지를 갖고 쇼핑을 할 수 있게 됐죠.