추천시스템은 인터넷을 더 개인 특성에 맞게 바꿔 놓습니다. 마치 인터넷 사용자의 취향과 관심을 모두 꿰뚫어 보는 것처럼 영상물, 음식, 운동화, 광고 등에 대한 정보를 추천해주죠.
이렇게 인공지능(AI)은 사용자가 보고 싶은 내용을 빠르게 모니터에 띄어 주면서 사용자의 인터넷 경험을 더욱 즐겁고 효율적으로 만들어줍니다. 사용자가 좋아할 만한 콘텐츠를 제공하면서도 멋진 청바지 광고를 보여주기도 하고, 또 야식에 어울리는 음식을 추천해주기도 합니다.
하지만 모든 추천시스템이 스마트하게 추천하기 위해 필요한 데이터를 모두 잘 처리하지는 못합니다. 그로 인해 훈련 속도가 저하되고 사용자의 편안한 인터넷 경험이 저해되죠.
NVIDIA Merlin은 훈련과 추론기능을 강화해 추천시스템을 더욱 강력하게 만듭니다. 미디어, 엔터테인먼트, 온라인 상품 판매업 등 각 분야의 선두업체들은 GPU 기반 가속 딥 러닝을 실행하기 위해 오픈소스 추천시스템을 사용합니다. 추천 기능이 향상되면 사용자의 클릭 횟수나 구매 횟수가 늘어날 뿐만 아니라 사용자의 만족도도 올라가게 됩니다.
Merlin-가속 추천시스템
NVIDIA Merlin은 모든 다양한 기업이 NVIDIA GPU로 가속화된 추천시스템을 구축할 수 있도록 도와줍니다.
NVIDIA Merlin의 라이브러리 컬렉션은 기존 방법보다 향상된 예측결과를 제공하고 사용자의 클릭 횟수를 늘려주는 딥 러닝 기반 시스템을 구축하는데 필요한 도구를 지원해주죠. 파이프라인의 각 단계마다 수백 테라바이트 데이터를 지원할 수 있도록 최적화됐으며, 모두 사용하기 쉬운 API를 통해 액세스가 가능합니다.
Merlin은 전 세계의 수많은 기업으로부터 테스트 운영 중입니다. 소셜 미디어와 비디오 서비스 업체는 스크린 상에서 다음 화면에 나타나거나 광고에 뜨는 추천 결과물에 Merlin이 어떠한 영향을 주는지를 평가하고 있죠. 대형 온라인 상품판매 앱이나 소매업체들은 소비자에게 새로운 품목을 추천해주는 기능에 Merlin을 활용하는 방안을 고려하고 있습니다.
저비용으로 스냅 서비스를 향상시키는 Merlin
미국 소셜미디어 서비스 스냅(Snap)은 Merlin을 사용해 인프라 비용을 절감했습니다. 동시에, 콘텐츠와 광고의 순위를 60% 더 빠르게 처리해 로딩 시간을 단축해 고객 환경을 향상시키고 있죠. 스냅은 GPU와 Merlin을 활용해 컴퓨팅 용량을 추가로 늘려 추천순위 모델을 더 정교하게 탐색할 수 있게 됐습니다. 이로써 저비용으로도 사용자 경험을 더욱 즐겁게 만들었습니다.
텐센트의 광고 추천모델을 지원하는 Merlin
중국 인터넷서비스 전문업체 텐센트(Tencent)는 Merlin HugeCTR을 사용해 매월 5억명이 넘는 사용자에게 관련성 높고 흥미를 끄는 광고를 제공합니다. 이런 대규모의 데이터세트를 사용하려면 데이터 훈련 속도가 중요하며 추천시스템 모델의 성능에 결정적인 요소가 됩니다. 텐센트는 Merlin으로 실시간 훈련을 구축해 동일한 GPU 플랫폼에서 기존의 TensorFlow 솔루션보다 7배 이상 빠른 속도를 제공합니다. 자세한 내용은 GTC 프리젠테이션에서 확인할 수 있습니다.
포스트메이츠에 추천시스템을 지원하는 Merlin
Merlin은 추천 워크플로우를 간소화하고 지원합니다. 미국 음식 배달 앱 서비스 포스트메이츠(Postmates)는 고객이 저녁식사를 결정하는 걸 돕기 위해 추첨시스템을 활용합니다. 포스트메이트는 Merlin NVTabular를 통해 훈련 시간을 최적화하여 CPU에서 1시간 걸리는 훈련을 GPU에서 단 5분만에 해결할 수 있죠.
포스트메이츠는 기능 엔지니어링을 위해 NVTabular를 사용해 훈련 비용을 95% 절감하고 최첨단 딥 러닝 모델을 모색합니다. 자세한 사항은 GTC 프리젠테이션에서 확인할 수 있습니다.
추천 워크플로우를 규모에 맞게 간소화하는 Merlin
Merlin은 상호 운용이 가능해 유연하게 추천 워크플로우 파이프라인을 가속화합니다.
Merlin 추천엔진이 제공하는 오픈 베타 릴리스는 딥 러닝 시스템의 데이터 로딩과 훈련 부문이 비약적으로 향상됐죠.
NVTabular는 GPU 가속 기능 변환과 사전처리 기능으로 데이터 준비 시간을 단축시킵니다. NVTabular은 훈련 파이프라인에 대량의 데이터 레이크를 더 쉽게 로딩할 수 있는데요. 여러 GPU로 지원받으며 TensorFlow와 PyTorch의 상호운용 기능이 향상됐습니다.
훈련을 최적화하는 Merlin
Merlin HugeCTR은 훈련 구성요소에 핵심적인 역할을 합니다. HugeCTR은 딥 러닝 추천시스템을 훈련하며 자체적으로 최적화된 데이터 로더가 있어서 일반적인 딥 러닝 프레임워크보다 성능이 뛰어납니다. HugeCTR은 NVTabular의 사전처리 된 데이터를 처리하는 파케이(parquet) 데이터 리더를 제공합니다. HugeCTR은 성능 극대화를 위해 여러 GPU와 노드에 걸쳐 분산 훈련을 할 수 있는 추천 워크플로우용으로 특별히 설계된 심층 신경망 훈련 프레임워크입니다.
NVIDIA Triton Inference Server는 기능 변환과 신경망 실행을 위해 GPU기반 추론 작업을 가속화해줍니다.
NVTabular, HugeCTR, NVIDIA Triton Inference Server 지원을 포함해, Merlin이 출시되고 나서 어떤 기술적 발전이 있었는지 더욱 자세히 살펴보세요!