영화 검색엔진 왓이즈마이무비(whatismymovie.com)에 “청소년기 불안”이라는 키워드를 입력하면 헤더스(Heathers), 이유없는 반항(Rebel Without a Cause), 바스켓볼 다이어리(The Basketball Diaries) 같은 영화를 추천해줄 것입니다.
키워드를 “코끼리”로 바꿔서 검색하면 덤보(Dumbo), 엘리펀트 맨(The Elephant Man)은 물론 코끼리를 옮기는 장면이 나오는 스모키 밴디트 2(Smokey and the Bandit II)까지도 찾아줍니다.
기술 시연 차원에서 만들어진 왓이즈마이무비는 일반적인 영화 검색 엔진과는 차이가 있는데요. 왓이즈마이무비는 자연어 이해와 텍스트 및 패턴 인식을 결합해 비디오 파일의 콘텐츠를 이해하는 인공지능(AI) 알고리즘으로 구동됩니다. 이를 통해 쿼리와 검색 결과를 새로운 방식으로 매칭시키고 이전에는 검색이 불가능했던 데이터도 보여줄 수 있습니다.
이 웹사이트의 기술은 AI 영상 스타트업 발로사(Valossa)의 작품인데요. 발로사는 핀란드 오울루 대학(University of Oulu)에서 설립된 기업으로 엔비디아의 인셉션 프로그램(Inception program) 회원사이기도 합니다. 발로사의 목표는 영화 검색 서비스에만 그치지 않습니다. 미카 라우티아이넨(Mika Rautiainen) 발로사 CEO 겸 공동 창립자는 왓이즈마이무비가 사용자에게 미치는 영향을 긍정적으로 바라보고 이를 활용하고자 합니다.
미카 라우티아이넨 CEO는 “사람들은 영화 장면을 설명하는 문구를 입력함으로써 제목도 잊고 있었던 영화를 검색할 수 있습니다”라고 말했습니다.
발로사는 일반 사용자의 영화 검색뿐 아니라 미디어 기업들이 자신들의 미디어 자산을 보다 잘 이해하고, 궁극적으로 미디어가 시청자에게 미치는 영향에 대한 인사이트을 얻도록 기술을 적용하고자 합니다. 예를 들어, 어떤 배우가 스크린에 등장했을 때 시청자들이 어떤 감정의 변화를 느끼는지 말입니다.
결국, 이를 통해 시청자의 관심이 떨어지면 콘텐츠를 즉시 수정하고, 광고를 보다 흥미롭고 효과적으로 만들어 온라인 콘텐츠 사업의 수익성을 강화할 수 있습니다.
미카 라우티아이넨 CEO는 “방송사 등 영상 콘텐츠 기업들은 사용자가 콘텐츠를 재생할 때 초단위로 데이터를 추출해서 시청자의 행동과 상관성을 도출할 수 있습니다. 이들 기업들은 콘텐츠의 영향력을 확대할 수 있는 정보는 하나도 놓치지 않으려고 합니다.”라고 설명했습니다.
영화 검색, 그 이상
미카 라우티아이넨 CEO는 메릴랜드 대학(University of Maryland)의 연구 교환 프로그램에 참여했을 때 “의미론적 영상 이해”에 대한 연구를 시작했는데요. 그는 영상 콘텐츠에서 사물은 물론 폭발 등의 활동까지도 포착하는 알고리즘을 개발하고, 표준화된 영상 검색의 문제를 해결할 수 있는 검색엔진을 만들었습니다. 2010년, 미카 라우티아이넨 CEO를 비롯한 연구진은 핀란드의 국영 방송인 윌레이스라디오(Yleisradio, YLE)와 협력해서 방송 영상 인덱스 구축으로 검색을 가능하게 하는 만드는 사업에 착수했습니다.
차세대 머신 러닝과 AI가 과학계에서 각광받기 시작할 때, 미카 라우티아이넨 CEO는 자신의 연구와 새로운 세대의 AI를 어떻게 결합할 수 있을지 고민한 끝에 팀을 꾸려 발로사를 창업했습니다. 미카 라우티아이넨 CEO는 노키아 타운으로 알려진 핀란드 오울루를 창업 장소로 선택했는데요. 이곳에 뛰어난 영상 엔지니어, 컴퓨터 비전 연구자들이 많이 거주하기 때문입니다.
발로사가 처음으로 만든 제품인 발로사 AI는 아마존 웹 서비스(Amazon Web Service) 클라우드에 기반한 GPU로 가속화된 클라우드 서비스입니다. 발로사 AI를 통해 미디어 기업들은 영상에서 주연급 배우가 누구인지, 언제 어디서 이 배우가 스크린에 등장하는지, 또는 숲 또는 도시 구조가 어떠한지 등 시각적 맥락을 이해할 수 있습니다.
또한, 발로사 AI는 대사와 배경음을 분석해서 인덱스를 구성합니다. 최근 발로사는 비주얼 리포트, 장면 검색, 개요 대쉬보드(overview dashboard)를 통해 영상 콘텐츠를 검색하는 영상 인사이트 툴을 공개했습니다. 이러한 인사이트 툴과 행동 데이터를 결합함으로써 어떤 콘텐츠로 결정해야 할 지 알려줄 수 있습니다.
발로사는 딥 러닝 알고리즘의 훈련을 가속화하기 위해 클라우드와 온프레미스에서 CPU 대비 최소 30배의 성능을 발휘하는 엔비디아 GPU를 사용합니다.
GPU로 가속화된 서비스
이러한 가속화 덕분에 발로사 AI 엔진은 60분 분량의 영상을 단 10분 만에 인덱스를 구분하고 주석(annotation)을 달 수 있습니다. 이는 CPU로는 두 시간 이상이 걸리고, 더 많은 비용이 소요되는 작업입니다. 발로아의 기술이 실제 어떻게 적용되는지 궁금하시다면, 발로사 웹사이트를 방문해 보세요. 회원 가입을 하면 발로사의 딥 러닝 클러스터를 활용해서 무료로 영상을 구동해 볼 수 있습니다.
기업들은 소비된 콘텐츠(분·시간 단위)의 처리 시간에 따라 서비스 요금을 지급하거나, 대량 영상 니즈가 있는 경우 구독 서비스를 택할 수 있습니다. 해당 포털에 로그인하는 사람들은 프리뷰를 통해 인터랙티브 영상 인사이트 툴을 즐길 수 있는데요. 발로사는 전문가 용으로 온프레미스 설비도 갖추고 있습니다.
미카 라우티아이넨 CEO는 영상 인텔리전스를 사용해 가치를 도출하려는 기업이 증가하고 있기 때문에, 발로사의 기술은 미디어 기업뿐만 아니라 다른 기업들로부터 많은 관심을 모을 것이라 전망했습니다. 발로사의 기술을 활용해서 기업들은 프레젠테이션이 관중에게 어떤 영향을 미치는 지 이해하고 실시간으로 수정할 수 있습니다.
미카 라우티아이넨 CEO는 “발로사를 통해 콘텐츠 데이터가 어떻게 구조화 되어 있는지 이해하고, 이 구조와 실제 영향 사이의 상관관계를 발견할 수 있습니다”고 덧붙였습니다.
발로사는 엔비디아의 인셉션 프로그램(Inception program)에 참여하는 2,200 곳 이상의 스타트업 중 하나입니다. 인셉션 프로그램은 스타트업에 기술, 전문성, 마케팅 지원을 제공합니다.