호주 시드니에서 8월 6일부터 11일까지(현지 시간) 진행되고 있는 ‘ICML(International Conference on Machine Learning) 2017’에서 엔비디아 인공지능(AI) 랩(NVAIL) 연구진의 DGX 기반 인공지능 연구성과가 발표되었습니다.
엔비디아가 운영하는 NVAIL에는 세계 최고의 대학 및 연구소가 참여하고 있는데요. 특히 캘리포니아 대학교 버클리 캠퍼스, 스위스 인공지능연구소 IDSIA, 도쿄대학교의 연구진들은 세계 최초 인공지능 슈퍼컴퓨터인 엔비디아 DGX를 기반으로 딥 러닝 분야의 발전을 선도하고 있습니다.
이에 더해 엔비디아는 볼타(Volta) 아키텍처 기반의 테슬라(Tesla) V100 GPU 가속기가 탑재된 딥 러닝 슈퍼컴퓨터인 DGX의 신규 버전을 곧 전 세계 엔비디아 인공지능 랩에 도입할 예정입니다. 이는 현재 여러 연구소에서 진행되고 있는 딥 러닝 및 인공지능 분야의 발전을 한층 더 가속화할 것으로 기대를 모으고 있습니다.
기존 엔비디아 DGX를 기반으로 진행된 인공지능 연구 중, 이번 ICML에서 발표된 주요 연구내용은 다음과 같습니다.
캘리포니아 대학교 버클리 캠퍼스: 인공지능에 학습 방법 학습시키기
캘리포니아 대학교 버클리 캠퍼스의 세르게이 레빈(Sergey Levine) 조교수가 이끌고 있는 연구팀은 로봇이나 기타 인공지능 적용 디바이스에 사람과 같은 학습 방법을 적용하는 연구를 진행하고 있습니다.
레빈 교수 연구팀은 딥 뉴럴 네트워크(DNN)가 학습 방법을 터득하도록 학습시킴으로써, 지능형 에이전트의 학습 속도를 향상시키고 트레이닝의 필요성은 감소시키고자 했습니다.
전기컴퓨터공학과의 레빈 조교수는 “사람이 학습하는 과정을 살펴보면 처음부터 무작정 배우는 것이 아니라, 새로운 기술을 빠르게 배우기 위해 과거의 경험을 활용합니다”라고 이야기하며,“이와 유사한 방식의 학습 알고리즘을 구현하고자 합니다”라고 설명했습니다.
현재의 인공지능 방식에서 로봇은 반복적인 작업 경험을 통해 자극에 대한 최상의 대응 방식을 학습하게 되는데요. 레빈 교수는 로봇이 이러한 반복 작업 없이 학습할 수 있도록 만든다면 로봇의 적응력이 향상되는 것은 물론 더 많은 것을 학습할 수 있을 것이라 설명했습니다.
그는 “로봇이 하나의 기술을 학습하기 위해 필요한 수 천번의 트레이닝 과정을 반복해야 합니다. 이러한 학습에 필요한 경험 횟수를 획기적으로 줄일 수 있다면 기존에는 하나의 기술을 배우는 데 소요됐던 동일한 횟수의 작업으로 수 천 개의 기술을 학습할 수 있습니다”라고 말하면서 “실수를 전혀 하지 않는 머신을 구축하는 것은 어렵지만, 실수에서 보다 더 빠르게 배움으로써 경험해야 하는 실수의 횟수가 더 적은 머신을 구축하는 것은 가능합니다”라고 설명했습니다.
레빈 교수가 이끄는 연구팀은 엔비디아 DGX 시스템을 활용해 시각적 인식과 움직임을 조정하는 알고리즘을 트레이닝하고 있습니다. 레빈 교수 연구팀 소속의 첼시 핀(Chelsea Finn) 박사과정 대학원생은 본 콘퍼런스에서 이 작업에 대한 연구 논문을 발표하고, 레빈 교수와 함께 “심층강화학습, 의사결정 및 조종(Deep Reinforcement Learning, Decision Making, and Control)”에 대한 튜토리얼을 제공했습니다.
스위스 인공지능 연구소 IDSIA: 딥 러닝의 심화 과정
리커런트 뉴럴 네트워크(RNN)와 장단기 메모리(LSTM)의 결합은 필체 및 음성 인식 분야의 연구진들에게 주요한 영향을 미쳤습니다.
각 연산을 자동적으로 다음 단계로 넘기는 피드포워드(feedforward) 네트워크와 달리, RNN은 내부 메모리를 이용해 각기 다른 발음 혹은 필체의 변형과 같은 임의 데이터를 처리하는 것이 가능하며 이전의 결정 사항 및 현재의 자극을 즉시 학습에 활용합니다.
이는 RNN이 뉴럴 네트워크로 심화 발전할수록 더욱 다루기 어려워지고, 딥 러닝 프로세스의 속도를 저하시킴을 의미합니다. 스위스 인공지능 연구소 IDSIA 연구진은 리커런트 고속 네트워크(recurrent highway network)를 통해 이러한 문제에 대한 해답을 제시했습니다.
IDSIA의 인공지능 연구자이자 ICML에서 발표된 이 분야 연구 논문의 공동 저자인 루페시 스리바스타바(Rupesh Srivastava) 연구원은 “지금까지는 순차적 전이에서 레이어가 두 개로 증가하는 상황에서조차 리커런트 네트워크를 트레이닝하는 것이 무척 어려웠던 반면, 리커런트 고속 네트워크 덕분에 현재는 반복되는 전이에서 레이어가 열 개로 증가해도 리커런트 네트워크의 원활한 트레이닝이 가능해졌습니다”라고 설명했습니다.
스리바스타바 연구원은 이러한 발전 덕분에 순차적 처리 작업을 공략할 수 있는 더욱 효율적인 모델의 구현 및 더욱 복잡한 모델의 사용이 가능해졌다고 말했습니다. 그는 “본 초기 실험에서 앞으로 대규모 모델의 트레이닝 없이 더욱 복잡한 작업을 해결할 수 있을 것으로 나타났습니다”라고 말했습니다.
스리바스타바 연구팀은 엔비디아 테슬라(Tesla) K40, K80, 타이탄(TITAN) X 및 지포스(GeForce) GTX 1080 GPU 외에도 딥 러닝용 CUDA 및 cuDNN를 함께 활용해 트레이닝의 속도를 향상시켰습니다. 스리바스타바 연구원은 특히 DGX 인공지능 슈퍼컴퓨터의 도입으로, “실험 사이클이 상당히 가속화돼, 모든 랩 프로젝트의 진척이 매우 빨라졌습니다”고 말했습니다
또한 리커런트 네트워크 모델의 병렬 트레이닝 속도를 향상시키는 데 DGX를 활용하는 것에 대한 기대감을 표현하며, 리커런트 고속 네트워크가 보다 향상된 강화학습을 이끌길 바란다고 전했습니다. 그는 적어도 본 연구가 딥 러닝 모델을 한층 더 심화시키는 데 도움을 제공할 것이라 믿고 있습니다.
그는 “이는 매우 중요한 진척입니다. 다양한 방식으로 딥 모델의 효율성을 활용할 수 있는 능력이야말로 딥 러닝의 초석이기 때문입니다”라고 설명했습니다.
도쿄대학교: 딥 러닝 속이기
딥 러닝 과정에서 많은 양의 음성을 인식하는 모델을 트레이닝 하는 경우, 그 모델은 주변 잡음이나 억양과 같은 변화를 설명할 수 있어야 합니다.
영역 적응으로 알려진 이 개념은 인공지능의 지능이 파생되는 곳입니다. 트레이닝 실험실과 같은 단순한 환경과 달리, 감독 및 예측이 불가능한 실제 세계에서 인공지능의 이러한 작업을 진행하는 것은 더욱 어렵습니다.
도쿄대학교의 연구진은 DGX의 능력을 활용해 대상 영역의 미분류 데이터에 “가상의 레이블”을 할당함으로써, 자율적 영역 적응의 여러 가지 문제를 피할 수 있는 방법을 개발했다고 보고 있습니다.
이는 딥 러닝 모델이 도서 리뷰의 분류 능력과 같은 소스 영역에서 학습한 사항을 새로운 모델을 트레이닝 할 필요 없이 영화 리뷰와 같은 전혀 다른 대상 영역에 적용할 수 있도록 만듭니다.
이를 위해 도쿄대학교 연구팀은 “비대칭 삼각트레이닝(asymmetric tri-training)”이라는 개념을 제안했습니다. 본 개념은 세 가지 분류자(classifiers)에 각기 다른 역할을 할당해 세 개의 서로 다른 뉴럴 네트워크를 활용하는 것이다. 두 개의 네트워크는 레이블이 되지 않은 대상 샘플에 레이블을 부여하는 데 이용되며, 나머지 하나의 네트워크는 가상의 레이블이 부여된 대상 샘플로 트레이닝을 실시합니다. 본 연구의 현재까지의 결과는 매우 고무적입니다.
도쿄대학교 정보과학기술대학원의 기계정보학과 타츠야 하라다(Tatsuya Harada) 교수는 “단순하거나 합성된 영역에서 쌓은 지식을 다양하고 실제와 같은 영역에 적용하는 것은 실용적이지만 까다로운 문제입니다. 우리의 방식이 단순한 영역에서 복잡한 영역으로의 적응을 실현하기 위한 중요한 과정을 보여주고 있다고 생각합니다”라고 말했습니다.
하라다 교수가 공동 저자로 참여한 관련 연구 논문은 ICML에서 발표됐는데요. 하라다 교수는 가능성을 구체화하려면 비슷한 노력이 이루어져야 한다며, 본 연구 내용을 공유함으로써 관련 연구가 보다 빠르게 진행되길 바란다고 전했습니다.
또한 하라다 교수는 “딥 러닝과 가상 레이블을 접목하는 연구를 진행하고 있ㅅ브니다. 우리의 연구가 관련 연구에 자극제가 되길 기대합니다”라고 말했습니다.