좋은 음악은 만들기 어렵습니다. 재능과 시간, 그리고 대부분 그렇듯 기술적 전문성이 필요하죠. 유튜버나 영화 제작자, 비디오 게임 제작자, 카페 가수, 음반 제작자 등 많은 이들이 이로 인한 어려움을 겪고 있을 텐데요. 이 과정을 조금 더 수월히 진행할 수 있도록 룩셈부르크 소재 스타트업인 아이바(AIVA)는 뮤지션과 크리에이터들이 쉽게 신곡을 만들 수 있는 도구를 개발했답니다.
아이바는 딥 러닝과 엔비디아 GPU를 사용해 곡 요소를 자동으로 생성합니다.
피에르 바로(Pierre Barreau) 아이바 창립자 겸 CEO는 “아이바는 세계적으로 우수한 작곡가들이 만든 3만개 곡을 읽어 작곡 기법을 배운 인공지능입니다”라고 설명합니다.
그는 아이바가 완벽한 반주를 만들 수 있지만, 그렇다고 인간의 창작 활동을 방해하려는 목적으로 설계된 건 아니라고 하네요.
피에르 바로는 “뮤지션들은 그저 종이 한 장에 곡 하나를 쓰는 것이 아니라, 수 십 가지 반주를 생성해 그걸 바탕으로 곡 작업을 할 수 있습니다. 이제는 수 백 가지 아이디어를 떠올려 그 아이디어를 발전시켜 나가는데 시간을 할애할 수 있는 것이죠”라고 말했습니다.
AI 커뮤니티에 이 도구가 얼마나 강력한지 보여주기 위해 엔비디아는 아이바와 협력해 전설적인 밴드 퀸(Queen)에게서 영감을 받은 새로운 곡 만들기에 나섰답니다.
‘Bohemian Rhapsody’부터 ‘We are the Champions’, ‘We will Rock You’에 이르기까지 퀸은 세계에서 가장 다양하고 다채로운 음악 세계를 선보였습니다. 엔비디아 팀은 퀸이야말로 세계 최고 AI 연구자들에 AI가 퀸과 유사한 곡을 만들어 내는 방법을 보여주기에 가장 적절한 뮤지션이라고 생각했죠.
최근 캐나다 몬트리올에서 열린 세계적 뉴럴 네트워크 행사인 NeurlPS AI 컨퍼런스 기간 중 엔비디아 리셉션에서 ‘Change the World’라는 새로운 곡이 소개됐답니다.
아이바 개발자들은 엔비디아 타이탄 GPU를 사용해 다양한 아티스트가 만든 수 백여 개 록 음악으로 딥 뉴럴 네트워크를 트레이닝 시켰습니다. 그 과정에서 뉴럴 네트워크는 멜로디와 기타 코드, 베이스 라인, 반주, 템포 등 곡마다 갖고 있는 고유한 요소를 모방하는 방법을 배웠죠. 아이바 팀은 CNN(convolutional neural networks)과 RNN(recurrent neural networks)을 함께 사용했습니다.
피에르 바로 CEO는 “이 곡은 AC/DC, 퀸, 주다스 프리스트, 핑크 플로이드 같은 80년대 프로그레시브 록 밴드를 염두에 두고 만들었어요. 이들 밴드는 저마다 특유의 그루브를 갖고 있는데, 이 곡에서 그런 특징을 모방해 보고 싶었습니다”라고 말했습니다.
그 후 아이바 팀은 엔비디아 타이탄 GPU를 사용해 퀸의 곡 52개로 뉴럴 네트워크를 다시 트레이닝 시켜 퀸 음악에 편향된 알고리즘을 개발했습니다. 그 후 뉴럴 네트워크는 작곡가가 컴퓨터 소프트웨어를 사용해 곡을 쉽게 수정할 수 있는 전자 파일인 MIDI 포맷으로 곡의 1차 요소를 생성했죠.
신곡의 여러 요소를 구성하는 작업을 지원하기 위해 엔비디아는 자체 사운드 디자이너와 퀸 커버 밴드인 심플리 퀸(Simply Queen)을 동원해 AI가 생성한 요소에 사람의 손길을 더해 하나의 곡을 탄생시켰답니다.
거기서 조금 더 나아가기 위해 우리는 딥 러닝을 사용해 어떤 아티스트 스타일의 가사든 척척 만들어 내는 스타트업인 Encore.ai와 협력했고, 완성된 곡에 맞게 가사를 구성했죠. Encore.ai는 우선 대규모 영어 데이터세트를 비롯해 퀸과 유사한 록 가사 데이터세트로 자체 뉴럴 네트워크를 트레이닝한 후 퀸 곡에 맞게 미세 조정하는 순서로 작업을 진행했습니다.
피에르 바로 CEO는 “아이바가 만들어 낸 곡에 매우 만족합니다. 이번 협력을 통해 보여주었듯 아이바는 인간의 창의력을 대체할 AI가 아닌, 뮤지션의 능력을 배가시켜 줄 수 있는 AI를 만들었습니다”라고 말했습니다.
AI 도구를 사용해 작업을 한층 수월하게 만들고 싶다면? 온라인 기반 애플리케이션 베타 버전을 사용해 보세요.