핀터레스트(Pinterest)는 현재 최고의 비주얼 서치(visual search) 경험을 제공하고 있습니다. 매달 4억4,000만명의 방문자들이 인기 만점의 이미지 공유 서비스와 소셜미디어 기능을 위해 핀터레스트를 찾고 있는데요.
비주얼 서치는 텍스트, 스크린샷, 카메라 사진으로 이미지를 검색할 수 있게 해줍니다. AI 기반의 기능을 활용해 사용자들은 자신의 관심사와 계획에 따라 핀보드(Boards of Pins)를 만들고 테마별로 이미지를 저장합니다. 마음을 끄는 쇼핑 아이템을 만나도 복잡할 게 없습니다. 이미지 속에 있는 제품을 바로 구매할 수 있기 때문이죠.
하지만 2,400억개가 넘는 이미지와 50억개의 보드들을 트래킹한다는 건 보통 일이 아닙니다.
이를 위해서는 이미지 속 오브젝트를 수학적으로 표현해주는 비주얼 임베딩(embedding)이 필요합니다. 비주얼 임베딩은 이미지를 자동으로 생성⋅평가하는 모델을 이용해 두 이미지 사이의 유사성을 보여주는 것인데요. 예를 들면 TV에 나오는 거실 소파와 시중에 판매 중인 소파를 비교하는 방식입니다.
핀터레스트는 소규모 데이터세트에서 자체 비주얼 임베딩을 사전 훈련해 검색 결과를 개선합니다. 주목적은 하나로 통합된 비주얼 임베딩으로 개발해 핵심 비즈니스 기능을 훌륭히 수행할 수 있도록 지원하는 것이죠.
NVIDIA V100 Tensor Core GPU 기반의 이 기술은 약 13억개의 이미지로 구성된 서브세트에서 핀터레스트의 신경망을 사전 훈련합니다. 이를 기반으로 수천억 건의 이미지가 들어 있는 방대한 데이터세트 전반에서도 높은 관련성(relevancy)을 제공할 수 있게 되죠.
조시 빌(Josh Beal) 핀터레스트 비주얼 서치 부문 머신 러닝 연구자의 설명에 따르면 통합 비주얼 임베딩의 검색 결과를 개선하면 핀터레스트의 애플리케이션 서비스 향상에 크게 도움이 됩니다.
“비주얼 임베딩 모델은 다양한 멀티태스크 데이터세트에서 미세조정됩니다. 이 프로젝트의 목표는 모델을 확장해 더 큰 규모의 데이터세트에 맞출 수 있게 하는 것입니다”라고 그는 말합니다.
더욱 편리한 ‘스타일 쇼핑’
신규 이미지가 날로 늘어가는 상황에서 핀터레스트는 각 이미지 사이의 연관성을 파악할 수 있게 신경망을 지속적으로 훈련합니다.
높은 인기를 구가하고 있는 비주얼 서치 기능은 ‘숍더룩(Shop the Look)’으로 사용자들은 인테리어와 패션 아이템들을 쇼핑할 수 있습니다. 숍더룩은 비주얼 임베딩 기법을 사용해 이미지 속 아이템을 온라인 판매처와 연결합니다.
이 같은 제품 매칭 능력은 비주얼 기반 커머스의 핵심입니다. 하지만 완벽한 해결책을 선보이기란 쉽지 않습니다.
그래도 괜찮습니다. 핀터레스트의 비주얼 기능은 구체적 제품을 검색하는 기능을 지원합니다. 비주얼 임베딩으로 검색의 정확도를 높이고 추천 시스템을 개선함으로써 제품 매칭 기능을 강화해 관련 제품을 보다 손쉽게 추적할 수 있습니다.
또한 핀터레스트의 렌즈 카메라 검색 기능을 활용하면 사용자들이 카메라로 직접 찍은 사진들에 기초해 시각적으로 유사한 이미지를 추천받을 수도 있습니다.
빌은 “비주얼 서치를 위한 통합 임베딩은 다운스트림 마케팅 전반에 도움이 됩니다”라고 설명했습니다.
더욱 강력한 이미지 서치
핀터레스트의 연구팀들은 각 핀에 포함된 수천억 이미지에 대해 용이한 비주얼 서치 기능을 제공하기 위해 고심했습니다. 그리고 규모에 대한 비용, 그리고 엔지니어링 리소스상의 제약을 고려해 기존의 아키텍처를 최적화하는 방안을 모색하게 되었죠.
일부 ResNeXt-101 아키텍처의 최적화와 함께 NVIDIA cuDNN v8, 자동혼합정밀도(automated mixed precision)와 NCCL 등의 최신 NVIDIA 라이브러리로 업그레이드하는 것만으로 핀터레스트는 자사 모델의 훈련 성능을 60% 이상 개선할 수 있었습니다.
NVIDIA의 GPU 가속 라이브러리들은 핀터레스트와 같은 기업들이 기존에 투자한 하드웨어에서 더욱 강화된 성능을 이끌어낼 수 있도록 지속적인 업데이트를 진행하고 있습니다.
빌은 “NVIDIA의 기술력이 비주얼 임베딩의 품질을 개선했습니다. 그 결과 비주얼 서치 결과물들의 관련성을 더욱 높일 수 있었죠”라고 평가했습니다.