무언가를 검색할 때는 자신이 찾는 정보를 찾을 수도, 그렇지 못할 수도 있습니다.
그런데 인터넷 검색을 하다 보면 검색하던 정보가 그 정보가 필요한 시점에 맞춰 화면 앞에 스스로 나타나는 경우가 있죠.
이 기능이 현재 인터넷 검색을 견인하고 있다 해도 과언이 아닌데요.
바로 추천 시스템입니다. 요즘 가장 중요한 애플리케이션 중 하나죠.
인터넷에는 워낙 많은 자료가 올라와 있다 보니 그 많은 자료들을 일일이 살펴볼 수 없기 때문입니다.
유명 온라인쇼핑몰에 있는 20억개의 상품을 핸드폰으로 보면서 1초에 하나씩 화면을 넘겨볼 경우 65년이 걸린다고 합니다. 거의 한 사람이 평생 봐야 모두 볼 수 있다는 얘기죠.
그렇기 때문에 요즘 ‘맞춤형 콘텐츠’가 대세인 겁니다. 그렇지 않고선 전세계 수십억 명의 인터넷 이용자들이 수백억 개에 달하는 제품이나 서비스, 전문지식 등 자신이 원하는 정보를 찾기란 불가능할 겁니다.
맞춤형 콘텐츠란 가장 인간적인 기능이라고 할 수도 있습니다. 누군가에게 조언을 구하려고 할 때 어떻게 합니까? 피드백을 받을 땐 어떤가요? 어떤 선택을 할 지 일종의 추천을 받는 게 아닌가요?
이제 다양한 추천 시스템들이 수억 명에 달하는 개인 인터넷 이용자들의 선호도에 대한 데이터에 힘입어 추천 기능을 개선하기 위해 경쟁하고 있습니다.
물론 인터넷에는 사용자의 이름, 주소, 출생지 등 수많은 정보가 있죠. 하지만 추천 시스템이 사용자의 주변 사람들보다 더 잘 알고 싶어하는 정보는 바로 사용자의 선호도인데요.
추천시스템을 사용해 보고 싶다면 심층 추천 시스템을 위한 엔비디아 애플리케이션 프레임워크인 엔비디아 멀린(NVIDIA Merlin)에 대한 개발자 블로그를 확인하세요.
인터넷 대기업들의 성공비결은?
추천 시스템은 새로운 개념은 아닙니다. 추천 시스템 혹은 ‘디지털 책장’(digital bookshelf)이라는 개념은 주시 칼그렌(Jussi Karlgren)이라는 사람이 1990년 처음 만들었죠. 이후 20년 동안 미국 MIT 대학교와 정보통신기술 연구소 벨코어(Bellcore)의 연구자들이 이 기술을 꾸준히 개발했습니다.
2007년 우편을 통해 DVD 대여사업을 하던 넷플릭스(Netflix)가 100만 달러의 상금을 걸고 자체 시스템 정확도를 10% 이상 개선할 수 있는 협업 필터링 알고리즘 경연대회를 열었을 때 대중이 이 기술에 관심을 갖게 됐습니다. 수상자는 2009년 발표됐죠.
그 후 10년간 이런 추천 시스템은 넷플릭스, 아마존(Amazon), 페이스북(Facebook), 바이두(Baidu), 알리바바(Alibaba)와 같은 인터넷 기업이 성공할 수 있었던 결정적 요소가 됐습니다.
데이터의 선순환
최신 딥 러닝 기반 추천 시스템은 참신한 마케팅 기능을 구현해 기업이 제공하는 제품에 관심을 보일만한 사용자들을 효과적으로 타겟팅해 해당 기업에 대한 클릭 수를 높여주죠.
이제 데이터를 수집, 처리, 활용해 AI 모델을 훈련·배포해 사용자들이 원하는 정보를 찾을 수 있도록 도와주는 기능은 인터넷 대기업들이 보유한 경쟁력 중 하나가 됐습니다.
이로 인해 선순환 구조가 형성됐습니다. 더 좋은 추천 정보를 제공하는 최고의 기술로 더 많은 고객이 유입되고 궁극적으로 기업은 더 나은 기술에 투자할 수 있는 것이죠.
이것이 바로 추천 시스템의 비즈니스 모델입니다. 그렇다면 이 기술은 어떤 원리로 구현될까요?
정보 수집
추천 시스템은 사용자의 요구사항을 인지하면서 정보를 수집합니다. 사용자가 동영상 스트리밍 애플리케이션에 보고 싶다고 했던 영화, 사용자가 제공한 평가와 리뷰, 사용자의 구매내역, 그 밖에 과거에 온라인에서 취했던 행동 등의 정보를 수집하죠.
이보다 더 중요한 기능은 사용자가 무엇을 클릭했는 지와 탐색 방법 등 사용자가 그간 어떤 선택을 했는지 추적하는 기능입니다. 가령, 특정 영화를 몇 시간 동안 봤는지, 어떤 광고에 클릭했는지, 또 어느 친구와 연락했는지 등을 추적하는 거죠.
이 모든 정보는 방대한 데이터센터로 스트리밍 되고 빠른 속도로 확장되는 복잡한 다차원의 표(table) 형식으로 저장됩니다.
그 규모는 수백 테라바이트에 달할 수 있고 실시간으로 계속 늘어나죠.
한 명의 개인에서 데이터를 수집하는 것이 아니라 무수한 사람들의 데이터를 조금씩 수집하다 보니 이렇게 커지는 겁니다.
다시 말해, 이 표가 높은 밀도로 정리되는게 아닙니다. 대다수의 서비스가 대다수에 카테고리 별로 개개인으로부터 얻는 정보가 아예 없을 때가 많죠.
그런데 이 표들을 모두 모아 놓고 보면 수많은 사람들의 선호도에 대한 굉장히 많은 정보를 담고 있습니다.
기업들은 이 정보를 기반으로 사용자가 어떤 정보를 선호할지에 대한 지능적인 결정을 내릴 수 있죠.
콘텐츠 필터링과 협업 필터링
현재 수많은 추천 알고리즘과 기술이 있지만 대개는 협업 필터링(collaborative filtering)과 콘텐츠 기반 필터링(content filtering)이라는 두 가지 범주에 포함됩니다.
협업 필터링은 사용자와 비슷한 다른 사용자들을 분석해 사용자가 선호하는 정보를 찾을 수 있도록 도와줍니다.
그래서 추천 시스템이 사용자의 음악 취향을 모르더라도, 해당 사용자가 다른 사용자와 비슷한 책을 좋아한다는 정보가 있으면 다른 사용자가 좋아하는 음원을 해당 사용자에게 추천하는 거죠.
반대로 콘텐츠 필터링은 각 제품의 기본 기능을 분석해 작동합니다.
추천 시스템이 사용자가 영화 “유브 갓 메일”(You’ve Got Mail)과 “시애틀의 잠 못 이루는 밤”(Sleepless in Seattle)을 좋아하는 걸 안다면, 톰 행크스(Tom Hanks)와 맥 라이언(Meg Ryan) 주연의 “볼케이노”(Joe Versus the Volcano) 같은 영화를 추천해 줄지 모릅니다.
데이터가 곧 경쟁력
이런 시스템이 무수히 많은 사람들로부터 방대한 데이터를 확보하고 워낙 대규모로 적용되고 있기 때문에 시스템 사양을 약간만 개선하면 수십억 달러 규모의 사업을 추진하는데 사용될 수 있습니다.
기업이 한 명의 개인이 무엇을 할지 알 수 없을 수 있겠지만 대수의 법칙에 의해 100만명의 사람들에게 한 개의 제품을 선보였을 때 그 중 1%는 그 제품을 살 것이라는 걸 알고 있다는 것이죠.
향상된 추천 시스템으로 얻는 혜택도 크지만 해결해야 할 과제도 큽니다.
예를 들어, 성공한 인터넷 기업들은 더 많은 쿼리(queries)를 더 빠르게 처리해야 합니다. 처리해야 할 데이터 양이 지속적으로 늘어나다 보니 인프라 유지에 막대한 비용을 들여야 하는 겁니다.
반면, 비기술 분야의 기업들이 필요한 것은 기성 도구(ready-made tool)이기 때문에 데이터 사이언티스트 팀을 채용할 필요가 없습니다.
추천 시스템이 헬스케어에서 금융서비스까지 다양한 산업에 사용되려면 추천시스템에 대한 접근성이 개선되야 할 것입니다.
GPU 가속
여기서 GPU가 사용되죠.
물론, 엔비디아 GPU는 병렬 처리 기능으로 데이터 집약적인 작업을 폭발적으로 가속화하기 때문에 오래 전부터 신경망 훈련 시간을 가속화하는 데 사용돼 왔습니다.
그러나 이제는 데이터 전송량이 증가하면서 GPU의 활용 범위가 방대해 졌죠. 데이터 사이언스와 애널리틱스 파이프라인을 더욱 빠르게 가속화하는 소프트웨어 라이브러리 스위트인 래피즈(RAPIDS)와 같은 도구를 활용해 데이터 사이언티스트들은 더욱 많은 양의 작업을 더 빠르게 해결할 수 있게 됐습니다.
엔비디아가 최근 발표한 멀린 추천 애플리케이션 프레임워크는 GPU 가속 추천 시스템의 수집, 훈련, 배포를 위한 엔드-투-엔드 파이프라인을 통해 GPU 가속 추천 시스템을 보다 쉽게 액세스할 수 있도록 보장합니다.
이런 시스템은 엔비디아 암페어(NVIDIA Ampere) 아키텍처를 기반으로 한 새로운 엔비디아 A100 GPU을 사용하기 때문에 기업들은 추천 시스템을 그 어느때보다 빠르고 경제적으로 구축할 수 있을 것입니다.
그렇다면 엔비디아의 추천은? 추천 시스템을 사용할지 고민하고 있다면 지금이 바로 추천 시스템을 사용하기 시작할 적기입니다.
추천시스템을 사용하고 싶다면? 심층 추천 시스템을 위한 엔비디아 애플리케이션 프레임워크 엔비디아 멀린을 상세히 소개하는 개발자 블로그를 확인하세요.
이미지 제공 : © Monkey Business – stock.adobe.com