12월 15일부터 19일까지 온라인으로 개최되는 GTC China 2020에서 NVIDIA 수석 과학자 빌 달리(Bill Dally)가 기조연설을 통해 새로운 AI 연구 프로젝트를 소개했습니다.
빌 달리는 기조연설에서 “NVIDIA 연구진은 프로그래밍하기 쉬우며 보다 큰 대역폭을 가진 시스템에서 더 빠른 AI 칩을 만드는 방법을 연구하고 있다”고 말했습니다.
그는 자신이 이끄는 200명 규모의 NVIDIA 연구팀이 황의 법칙(Huang’s Law)를 실현하기 위해 어떠한 노력을 기울이고 있는지 세 가지 프로젝트를 통해 설명했습니다. 황의 법칙은 GPU가 AI 성능을 매년 두 배로 향상시킬 것으로 예측한 젠슨 황(Jensen Huang) NVIDIA 창립자 겸 CEO의 이름을 딴 것입니다.
NVIDIA에서 AI, 레이 트레이싱, 고속 인터커넥트 분야의 연구를 돕고 있는 빌 달리는 “황의 법칙은 컴퓨터 성능을 진정으로 향상시키기 위한 중요한 지표로서 당분간 지속될 것으로 예상됩니다”라고 말했습니다.
고도로 효율적인 가속기
NVIDIA 연구진은 시뮬레이션에서 와트당 100테라 연산성능을 제공하는 AI 추론가속기를 생성하는 MAGNet이라는 툴을 개발했습니다. 이는 기존 상업용 칩보다 훨씬 더 큰 효율을 제공합니다.
새로운 기술이 적용된 MAGNet은 데이터를 이동시킬 때 칩의 에너지 사용을 최소화합니다. 또한 연구 시제품은 모듈형 타일 세트로 구현돼 유연하게 확장 가능합니다. 현재 시스템 내부의 전기 연결을 더 빠른 광학 연결로 대체하기 위해 지속 연구 중에 있습니다.
빠른 처리량을 제공하는 광학 링크
빌 달리는 2009년 NVIDIA에 합류하기 전 스탠포드대(Stanford University) 컴퓨터과학과 학과장으로 재임한 바 있으며, 120개 이상의 특허를 보유하고 있습니다. 그는 “GPU를 연결하는 NVLink의 속도를 두 배로 높이고 데이터 처리도 두 배로 증가시킬 수 있지만, 이는 결국 전기 신호가 관건입니다”라고 말했습니다.
NVIDIA 연구진은 통신업체들이 코어 네트워크에서 사용하는 기술을 활용해 수십 개의 신호를 단일 광섬유로 통합하는 방법을 연구하고자 콜롬비아대(Columbia University) 연구원들과 협력하고 있습니다.
이는 고밀도 파장 분할 다중 방식(Dense Wavelength Division Multiplexing)으로, 칩 측면의 단일 밀리미터 공간에 맞는 링크를 통해 초당 멀티 테라비트 속도를 전달할 수 있는 잠재력을 갖고 있습니다. 이는 기존 상호연결 밀도의 10배 이상입니다.
광학 링크는 더 빠른 처리량 외에도 밀도가 더 높은 시스템을 구현합니다. 빌 달리는 그 예로 160개의 이상의 GPU로 구성된 차세대 NVIDIA DGX 시스템의 모형을 기조연설에서 선보였습니다.
NVIDIA 연구진은 소프트웨어에서 레게이트(Legate)라고 불리는 새로운 프로그래밍 시스템의 시제품을 만들었습니다. 이는 개발자들이 단일 GPU용으로 작성된 프로그램을 수천 개의 GPU로 구성된 셀린(Selene)과 같은 대형 슈퍼컴퓨터와 같은 크기의 시스템에서 실행할 수 있게 해줍니다.
레게이트는 새로운 형태의 프로그래밍 속기를 가속화된 소프트웨어 라이브러리와 리전(Legion)이라는 고급 런타임 환경을 연결합니다. 관련 연구는 미 국립연구소에서 실험이 진행되는 중입니다.
NVIDIA의 특화 플랫폼
이번 기조연설에서는 앞선 세 가지 연구 프로젝트 외에도 헬스케어, 자율주행차, 로보틱스와 같은 다양한 산업을 지원하기 위한 NVIDIA의 특화 플랫폼도 소개됐습니다.
빌 달리는 “머지않아 NVIDIA의 제품은 물리적인 렌더링을 기반의 경로추적을 이용해 실시간으로 놀라운 이미지를 만들며, AI로 전체 장면을 생성할 수 있을 것입니다”라고 말했습니다.
그는 NVIDIA의 대화형 AI 프레임워크인 Riva와 생성적 적대 신경망(GAN)으로 단순한 스케치를 아름다운 풍경으로 만들어내는 툴인 고갱(GauGan)이 결합된 데모를 처음 선보였습니다. 이를 통해 사용자는 간단한 음성 명령을 사용해 사실적인 풍경을 즉시 생성할 수 있죠.
빌 달리는 기조연설 전에 진행된 인터뷰에서 여러 분야에 거쳐 진행된 연구팀의 선구적인 작업에 대한 자부심을 보였습니다. 그는 “우리의 모든 레이 트레이싱 기술은 NVIDIA 연구팀의 시제품으로부터 시작됐습니다. 2011년에 나는 NVIDIA 연구원인 브라이언 카탄지로(Bryan Catanzaro)와 스탠포드대 교수인 앤드류 응(Andrew Ng)과 함께 딥 러닝 분야의 초석이 된 CuDNN 프로젝트에 투입됐었습니다”라고 회상했습니다.
빌 달리는 또한 NVLink와 NVSwitch의 첫 번째 시제품 출시를 주도하기 위한 협력과정을 총괄하기도 했는데요. 두 기술은 오늘날 세계에서 가장 큰 슈퍼컴퓨터의 GPU의 상호 연결을 가능하게 합니다.
그는 “이제 NVIDIA는 네트워킹 기업의 선도업체로 인정받고 있습니다. 저는 가장 재미있는 일을 하는 동시에 미래를 설계하는 작업을 돕고 있습니다”라고 말했습니다.
GTC China 2020
GTC China에서는 기조연설 외에도 220개의 세션이 진행됩니다. 모든 세션은 무료로 진행되며, 대부분 중국어(만다린)로 제공됩니다.
기조연설에 이어 NVIDIA 전문가들은 AI, 데이터 사이언스, 헬스케어 및 기타 분야 기업의 기술이 중국 전역에서 어떻게 채택되고 있는지 설명합니다. 이번 행사에는 AI 및 데이터 사이언스 스타트업을 위한 액셀러레이터 프로그램인 NVIDIA Inception의 주최로 중국 내 상위 스타트업 12개사의 쇼케이스도 진행될 예정입니다.
한편 알리바바(Alibaba), 아마존웹서비스(AWS), 바이두(Baidu), 바이트댄스(ByteDance), 레노버(Lenovo), 마이크로소프트(Microsoft), 핑안(Ping An), 텐센트(Tencent), 칭화대(Tsinghua University), 샤오미(Xiaomi) 등이 GTC China 2020에 참여합니다.