AI, 가속 컴퓨팅, 실시간 레이 트레이싱, 원활하게 연결된 데이터센터를 구동하는 기술 기반과 같은 NVIDIA의 주요 혁신의 뿌리는 자사 연구 조직인 NVIDIA Research에서 찾을 수 있습니다. 이 조직은 약 400명의 컴퓨터 아키텍처, 생성형 AI, 그래픽, 로보틱스 분야 전문가로 구성된 글로벌 팀입니다.
NVIDIA Research는 2006년에 설립돼 2009년부터 스탠퍼드 대학교(Stanford University)의 컴퓨터 사이언스와 의장을 역임한 빌 달리(Bill Dally)가 이끌고 있습니다. 이들은 복잡한 기술적 과제를 추구하면서, 회사와 세계에 큰 영향을 미친다는 사명감을 가지고 설립된 독보적인 기업 연구 조직입니다.
NVIDIA Research의 수석 과학자이자 수석 부사장인 달리는 “우리는 회사와 연관성이 있으면서도 훌륭한 연구를 수행하기 위해 의식적으로 노력하고 있습니다. 둘 중 하나를 하는 것은 쉽지만, 둘 다 하는 것은 어렵습니다”고 말했습니다.
‘NVIDIA Research’ 팀을 이끌고 있는 달리는 NVIDIA GTC에서 그룹 혁신에 대해 공유했습니다.
많은 연구 조직이 제품 팀보다 더 긴 기간의 프로젝트를 추구하는 반면, NVIDIA 연구진은 ‘위험 부담’이 더 크고 성공 시 큰 보상을 받을 수 있는 프로젝트를 찾습니다.
NVIDIA의 첫 번째 연구원이자 그래픽 연구 담당 부사장인 데이비드 루브케(David Luebke)는 “우리의 임무는 회사를 위해 옳은 일을 하는 것입니다. 최고의 논문상 트로피 케이스나 유명 연구자 박물관을 만드는 것이 아니죠. 우리는 실패할지도 모르는 아이디어를 연구할 수 있는 특권을 누리는 소수의 사람들입니다. 따라서 그 기회를 낭비하지 않고 성공 시 큰 변화를 불러올 프로젝트에 최선을 다하는 것이 우리의 의무”라고 말했습니다.
하나의 팀
NVIDIA의 핵심 가치 중 하나는 ‘하나의 팀’입니다. 연구자들이 제품 팀, 업계 이해관계자들과 긴밀히 협력해 아이디어를 실제 영향력으로 전환할 수 있도록 지원하는 협업에 대한 깊은 의지인 것이죠.
NVIDIA의 응용 딥 러닝 연구 담당 부사장 브라이언 카탄자로(Bryan Catanzaro)는 “NVIDIA의 가속 컴퓨팅 작업은 풀스택 최적화를 필요로 하기 때문에 NVIDIA의 모든 사람은 함께 일하는 방법을 찾도록 인센티브를 받고 있습니다. 각 기술이 독립적으로 존재하고 모두가 사일로에 머물러 있으면 그렇게 할 수 없습니다. 가속화를 달성하려면 하나의 팀으로 협력해야 합니다”고 말했습니다.
잠재적인 프로젝트를 평가할 때, NVIDIA 연구원들은 해당 과제가 연구 팀과 제품 팀 중 어느 팀에 더 적합한지, 최고 수준 콘퍼런스에서 발표할 만한 가치가 있는지, NVIDIA에 명확한 잠재적 이익이 있는지를 고려합니다. 프로젝트를 추진하기로 결정하면 주요 이해관계자들과 소통하면서 프로젝트를 진행하죠.
카탄자로는 “우리는 사람들과 협력해 실제 무언가를 만들어냅니다. 그 과정에서 실험실에서 생각했던 훌륭한 아이디어가 실제 세계에서는 작동하지 않는 것을 발견하는 경우가 많은데요. 연구팀은 자신의 아이디어를 실현하기 위해 필요한 것이 무엇인지 회사의 다른 사람들로부터 배울 수 있을 만큼 겸손해야 하며, 긴밀한 협업이라고 말할 수 있습니다”고 이야기합니다.
이 팀은 논문, 기술 콘퍼런스, 그리고 깃허브(GitHub), 허깅 페이스(Hugging Face)와 같은 오픈 소스 플랫폼을 통해 작업의 대부분을 공유합니다. 하지만 이러한 작업의 초점은 여전히 업계에 미치는 영향에 있습니다.
루브케는 “출판은 우리가 하는 일의 매우 중요한 부수적 효과이지만, 그것이 우리가 하는 일의 핵심은 아닙니다”라고 말했습니다.
NVIDIA Research의 첫 번째 노력은 레이 트레이싱에 집중됐으며, 10년간의 지속적인 연구 끝에 NVIDIA RTX의 출시와 실시간 컴퓨터 그래픽 재정에 직접적으로 기여했습니다. 현재 이 조직에는 칩 설계, 네트워킹, 프로그래밍 시스템, 거대 언어 모델(LLM) 물리 기반 시뮬레이션, 기후 과학, 휴머노이드 로보틱스, 그리고 자율주행 자동차 전문 팀이 포함돼 있죠. 또한, 추가적인 연구 분야를 다루고 전 세계의 전문성을 활용하기 위해 계속해서 확장하고 있습니다.
NVIDIA와 산업
NVIDIA Research는 NVIDIA의 가장 잘 알려진 제품의 토대를 마련했을 뿐만 아니라, 혁신을 통해 오늘날의 AI와 가속 컴퓨팅 시대를 앞당겼습니다.
연구자들이 수많은 애플리케이션에 GPU 가속을 활용할 수 있게 된 것은 바로 병렬 컴퓨팅 소프트웨어 플랫폼이자 프로그래밍 모델인 CUDA에서 시작됐습니다. 2006년에 출시된 CUDA는 개발자들이 GPU의 병렬 처리 기능을 쉽게 활용해 과학 시뮬레이션, 게임 애플리케이션, AI 모델 제작 속도를 높였죠.
루브케는 “CUDA 개발은 NVIDIA에게 가장 혁신적인 일이었습니다. 정식 연구 그룹이 생기기 전이었지만, 최고의 연구원을 고용하고 최고의 아키텍트들과 함께 작업했기 때문에 가능했습니다”라고 말했습니다.
레이 트레이싱을 현실로 만들기
NVIDIA Research가 설립된 후, 구성원들은 GPU 가속 레이 트레이싱을 연구하기 시작했습니다. 그리고 이를 가능하게 하는 알고리즘과 하드웨어를 개발하는 데 수년을 보냈죠. 이 프로젝트는 2009년에 실시간 레이 트레이싱의 선구자이자 NVIDIA의 전문가용 그래픽 담당 부사장이었던 고(故) 스티븐 파커(Steven Parker)가 주도했는데요. 2010년에는 시그라프(SIGGRAPH) 논문에서 자세히 설명된 NVIDIA OptiX 애플리케이션 프레임워크로 제품화 단계까지 이르렀습니다.
연구원들의 작업은 확장됐고, NVIDIA 아키텍처 그룹과 협력해 결국 NVIDIA RTX 레이 트레이싱 기술 개발로 이어졌습니다. 이는 게이머와 전문 크리에이터를 위한 실시간 레이 트레이싱을 가능하게 하는 RT 코어를 포함합니다.
2018년에 공개된 NVIDIA RTX는 또 다른 NVIDIA Research 혁신의 시작을 알렸습니다. 바로 NVIDIA DLSS, Deep Learning Super Sampling입니다. DLSS를 사용하면 그래픽 파이프라인이 더 이상 비디오의 모든 픽셀을 그릴 필요가 없습니다. 대신 일부 픽셀만 그리고 AI 파이프라인에 선명한 고해상도로 이미지를 생성하는 데 필요한 정보를 제공하면 되죠.
모든 애플리케이션을 위한 AI 가속
NVIDIA의 AI 소프트웨어 연구 공헌은 GPU 가속 뉴럴 네트워크를 위한 NVIDIA cuDNN 라이브러리에서 시작됐습니다. 이는 딥 러닝 분야가 아직 초기 단계에 있을 때 연구 프로젝트로 개발된 후 2014년에 제품으로 출시됐죠.
딥 러닝의 인기가 치솟고 생성형 AI로 발전함에 따라 NVIDIA Research는 그 선두에 있었습니다. 뉴럴 네트워크가 사실적인 이미지를 빠르게 생성하는 방법을 보여준 획기적인 시각 생성형 AI 모델, NVIDIA StyleGAN이 그 예시라고 할 수 있습니다.
생성적 적대 신경망, 즉 GAN(Generative Adversarial Network)은 2014년에 처음 소개됐습니다. 그러나 루브케는 “StyleGAN은 사진으로 완전히 통과할 수 있는 비주얼을 생성한 최초의 모델이었죠. 그것은 분수령이 되는 순간이었습니다”라고 말했습니다.
NVIDIA 연구원들은 AI 페인팅 도구 GauGAN과 같은 인기 있는 GAN 모델을 다수 소개했으며, 이는 나중에 NVIDIA Canvas 애플리케이션으로 발전했습니다. 또한 확산 모델, 신경 방사 필드, 가우시안(Gaussian) 스플래팅의 등장으로 Edify 3D, 3DGUT와 같은 최신 모델을 통해 3D를 포함한 시각 생성형 AI를 계속 발전시키고 있습니다.
거대 언어 모델 분야에서 Megatron-LM은 콘텐츠 생성, 번역, 대화형 AI와 같은 언어 기반 작업을 위한 대규모 LLM의 효율적인 훈련과 추론을 가능하게 하는 응용 연구 이니셔티브였습니다. 이는 맞춤형 생성형 AI 개발을 위한 NVIDIA NeMo 플랫폼에 통합돼 있죠. 또한 NVIDIA Research에서 시작된 음성 인식, 음성 합성 모델도 갖추고 있습니다.
칩 설계, 네트워킹, 양자 컴퓨팅까지
AI와 그래픽은 NVIDIA Research에서 다루는 분야 중 일부에 불과합니다. 여러 팀이 칩 아키텍처, 전자 설계 자동화, 프로그래밍 시스템, 양자 컴퓨팅 등에서 획기적인 성과를 거두고 있죠.
2012년에 달리는 가속 컴퓨팅 시스템에서 GPU와 CPU 프로세서 간의 빠른 통신을 가능하게 하는 고속 인터커넥트인 NVIDIA NVLink와 NVSwitch가 될 프로젝트에 관한 연구 제안서를 미국 에너지부에 제출했습니다.
2013년에 회로 연구팀은 다이 간 고속, 저면적, 저전력 링크를 구현하기 위해 인터커넥트와 공동 설계된 신호 시스템을 도입한 칩투칩(chip-to-chip, C2C) 링크에 관한 연구를 발표했습니다. 이 프로젝트는 결국 NVIDIA Grace CPU와 NVIDIA Hopper GPU를 잇는 연결고리가 됐습니다.
2021년에 ASIC와 VLSI 리서치 그룹은 많은 머신 러닝 모델을 4비트 가중치와 4비트 활성화로 높은 정확도로 실행할 수 있는 VS-퀀트(VS-Quant)라는 AI 가속기를 위한 소프트웨어-하드웨어 코드 설계 기술을 개발했습니다. 이들의 연구는 NVIDIA Blackwell 아키텍처의 FP4 정밀도 지원 개발에 영향을 미쳤습니다.
그리고 차세대 로봇과 자율 주행 차량을 위한 물리 AI 개발을 가속화하기 위해 NVIDIA Research에서 만든 플랫폼인 NVIDIA Cosmos가 올해 CES에서 공개됐습니다. 자세한 내용은 연구 논문과 Cosmos에 대한 AI 팟캐스트 에피소드를 통해 확인할 수 있습니다.
GTC에서 NVIDIA Research에 대해 더 자세히 알아보세요. 아래에서 NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)의 키노트를 시청하세요.
소프트웨어 제품 정보에 대한 공지를 참조하세요.