인공지능이 언어 전문가가 될 거라고 누가 생각이나 했을까요? 몇 년 전, 스탠포드대학교 출신의 스펜서 그린(Spencer Green)과 존 드니로(John DeNero)는 전문 번역가들이 최고 수준의 최신 자연어 처리 연구를 사용하지 않는다는 점에 의아함을 느꼈습니다.
그래서 두 사람은 2015년 변화를 시도했습니다. 번역과 로컬라이제이션 서비스용 AI 소프트웨어 플랫폼인 릴트(Lilt)를 공동 설립한 것이죠.
GPU로 실행되는 순환 신경망(recurrent neural networks)의 발전으로 AI 기능이 향상되면서, 자연어 처리를 위한 애플리케이션은 지나 10년간 폭발적으로 증가했습니다. 화이트 라벨 음성 서비스와 언어 튜터, 챗봇 등을 제공하는 스타트업들의 활약에 힘 입은 것인데요.
릴트의 AI 소프트웨어 플랫폼은 번역 전문가들이 로컬라이제이션 프로젝트에 사용하고 작업과 더불어 네트워크를 트레이닝 시킬 수 있도록 개발됐습니다. 인간과 기계 작업을 절충하는 이 하이브리드 플랫폼은 번역 속도를 높이고, 특정 프로젝트에 대한 전문성을 강화하기 위해 만들어졌습니다.
릴트 소프트웨어는 검색 쿼리 작성 시 구글의 검색어 자동 완성 기능과 유사하게 작동합니다. 사용자들은 이 소프트웨어를 사용해 출발어로 된 텍스트의 한 문장을 검토해 도착어로 번역할 수 있으며, 번역가가 수용하거나 거절, 변경할 수 있는 전체 텍스트 번역본도 제공합니다. .
번역가가 텍스트와 상호작용하는 과정은 뉴럴 네트워크를 트레이닝 시키는데 도움이 되며, 즉시 소프트웨어에 반영됩니다. 존 드니로의 설명에 따르면 “사용자 별로 다르게 트레이닝된 매개 변수가 있습니다”라고 하는데요.
30개 이상의 언어로 제공되는 릴트 소프트웨어는 번역 프로젝트 속도를 최대 5배까지 향상시킨다고 합니다.
릴트는 엔비디아의 스타트업 지원 프로그램인 인셉션(NVIDIA Inception)의 회원입니다. 릴트의 고객으로는 칸바(Canva), 젠데스크(Zendesk), 허드슨스 베이 컴퍼니(Hudson’s Bay Company)등이 있습니다.
트랜스포머에 적용된 NLP
두 창립자는 릴트만의 자연어 처리 방식이 남다른 것은 차세대 딥 뉴럴 네트워크에 기반한 서비스 배포 덕분이라고 합니다. 릴트는 2017년 12월 구글 브레인(Google Brain)에서 연구(Attention Is All You Need)를 통해 개발한 모델인 트랜스포머(Transformer) 뉴럴 네트워크 아키텍처로 알려진 대안 RNN을 활용합니다.
트랜스포머 아키텍처는 RNN의 순차적 특성과 달리 다음 단어를 결정하기 위해 문장의 마지막 단어에 비중을 두는 방식을 사용합니다. 대신 각 단계에서 문장 내 모든 단어의 비교 점수에 기반해 다음 단어를 결정하는 자기 초점(self-attention) 방식을 적용하죠.
이 새로운 방법은 언어를 이해하는 이상적인 방법으로 간주됩니다. 연구 논문 저자에 따르면 이 아키텍처는 더 많은 병렬화를 가능하게 해 더 높은 수준의 번역 품질을 제공할 수 있다고 하네요.
엔비디아 GPU는 최근 단 6.2분 만에 트랜스포머 뉴럴 네트워크를 트레이닝하는 등 AI 성능 기록을 세웠답니다.
빠른 맞춤형 번역
이 아키텍처를 활용해 번역가들이 사용할 수 있는 빠른 맞춤형 소프트웨어 플랫폼을 구현할 수 있습니다. 릴트에게 이런 역량은 특히나 중요한데요. 여러 다른 맞춤형 사용자 프로파일을 보유하면서 동시에 소프트웨어를 트레이닝 하기란 컴퓨팅 차원에서 상당히 까다로운 작업이기 때문이죠.
릴트는 사람들이 타이핑하는 와중에 번역 작업을 수행해 300밀리초 미만의 시간 내에 작업을 빠르게 처리해야 한다고 드 니로는 설명합니다. 이 말은 릴트의 서비스가 정적 기능을 수행하는 일부 뉴럴 네트워크와 더불어 실제로 적용해야 하는 다른 기능도 유지해야 한다는 뜻이죠.
드 니로는 “우리는 시스템 실행과 더불어 트레이닝을 하기 때문에 클라우드에 GPU를 사용해야 합니다”라고 말했습니다.