딥 러닝은 놀라울 정도로 발전하고 있습니다. 운전, 대화 인식, 음악 작곡에 이르기까지 모든 영역을 자동화하고 있는데요. 이제 미국 에너지부 산하기관 오크리지 국립연구소(Oak Ridge National Laboratory, ORNL)의 연구진이 개발한 새로운 소프트웨어와 딥 러닝이 만나 과학적 발견에도 박차를 가할 예정입니다.
미국 오크리지 국립연구소는 GPU 가속화된 타이탄(Titan) 슈퍼컴퓨터로 뉴럴 네트워크(neural networks)를 자동으로 생성하는 알고리즘을 개발했습니다. 뉴럴 네트워크는 인간 뇌의 신경세포 연결 구조를 모방한 것으로, 딥 러닝 분야에서 문자 그대로 ‘학습’을 수행합니다.
MENNDL(딥 러닝용 멀티 노드 에볼루셔너리 뉴럴 네트워크, Multi-node Evolutionary Neural Networks for Deep Learning)은 과학자들이 수집한 새로운 형태의 데이터세트를 평가하고 테스트하며 추천해주기까지 합니다. 그리고 GPU 가속화를 통해 한 달에 걸쳐 부단한 노력이 필요한 작업을 단 몇 주로 단축하며 빠르게 진행합니다.
해당 연구소의 자연 모사 머신 러닝 팀 연구 과학자인 스티븐 영(Steven Young)은 “MENNDL을 이용하면 시간은 절약되고, 과학적 발견은 더 빨라집니다” 라고 전했습니다.
과학자를 돕는 인공지능
처음 오크리지 국립연구소에서 MENNDL은 과학자용으로 개발되었지만 이는 인공지능(AI) 분야에서 더 광범위하게 적용시킬 수 있는 잠재력을 갖고 있습니다. 연구진은 뉴럴 네트워크를 학습함으로써 직접 일정한 업무를 수행할 수 있는 소프트웨어를 개발했습니다. 이 소프트웨어는 스스로 네트워크를 생성하고, 시행착오를 겪은 과정은 다음에 적용이 안 되도록 삭제해 놓기까지 합니다. 일반적으로는 따로 발견하고 설정을 해줘야 할 부분을 스스로 만들어가는 것이지요.
타이탄의 18,688개의 테슬라(Tesla) GPU를 기반으로 짜인 이 알고리즘은 수천 개의 잠재적 네트워크를 테스트하고 트레이닝해서 해당 업무에 가장 적합한 네트워크를 예측해냅니다.
다양한 분야의 연구진은 이미 존재하는 뉴럴 네트워크나 데이터세트를 이용하여 자신들이 수행할 딥 러닝을 위한 도약대로 활용하는데요. 이 방법은 과학기기, 안면 인식, 언어 이해 데이터를 필요로 하는 일부 과학자들에게까지 적용되지는 않습니다.
“연구실에서는 주로 중성자 감지기, 전자기기, 과학도구가 가져온 데이터로 작업합니다. 이는 단순한 작업이 아니죠”라고 영 연구원은 말했습니다.
단 24시간
MENNDL은 이미 중성자 물리 연구에 박차를 가하고 있습니다. 중성자는 아원자 입자들로 이루어져있는데, 이 물질이 우주의 기원, 물질의 본성과 같은 미스터리를 푸는 열쇠라고 과학자들은 이야기합니다.
중성자는 발견하기 어려운 물질로 유명한데요. 미국 에너지부 산하기관 소속 페르미 국립가속기연구소(Fermi National Accelerator Laboratory) 과학자들은 고밀도의 불빛을 이용해 그것들이 어떻게 일반적인 물질에 반응하는지 연구합니다. 이 과정은 엄청난 양의 데이터를 만들어내고, 연구원들은 이를 분석하여 상호작용이 어디서 이루어졌는지 세세하게 규명합니다.
“과거에 페르미 연구소 팀이 문제 해결에 꼭 맞는 단 하나의 뉴럴 네트워크를 찾으려면 몇 달은 걸렸을 거에요. MENNDL은 이 작업을 단 24시간만에 해냈습니다”라고 영 연구원은 설명했습니다.
이처럼 연구진이 더 적은 시간에 더 많은 실험을 진행할 수 있게 된다면, 과학은 더욱 빠르게 발전할 것입니다.
위 내용에 대해 보다 많은 정보를 확인하고 싶다면, 오크리지 국립연구소의 논문 <에볼루셔너리 알고리즘을 이용한 딥 러닝 하이퍼-파라미터 최적화(Optimizing Deep Learning Hyper-Parameters Through an Evolutionary Algorithm)> 를 참고해 보세요.
그 외에도 딥 러닝과 슈퍼컴퓨팅에 관한 오크리지 연구소의 최근 연구가 궁금하다면 3월 26일부터 29일까지 미국 실리콘밸리에서 개최되는 GPU 테크놀로지 컨퍼런스(GPU Technology Conference)에 참석하세요. 등록은 이곳에서 진행하실 수 있습니다.
* 메인 이미지는 페르미 국립가속기연구소에 있는 MiniBooNE 중성자 탐지기 내부모습입니다.