엔비디아 수석 과학자인 Bill Dally는 온라인 강연을 통해 포스트 무어의 법칙 시대에 컴퓨팅 성능 제공 방식의 지각 변동에 대해 소개하였습니다.
그는 최근 칩 및 시스템 엔지니어들의 연례 모임인 Hot Chips의 기조연설에서 새로운 프로세서를 개발할 때마다 새로운 재료를 발명하고 검증하는 독창성과 노력이 필요하다고 말했습니다. 이는 엔지니어들이 더 작고 빠른 칩의 물리학에 의존하던 한 세대 전과는 근본적으로 다릅니다.
Dally가 이끄는 300명 이상의 엔비디아 리서치(NVIDIA RESEARCH) 팀은 지난 10년 동안 AI 추론에서 단일 GPU 성능을 무려 1,000배 향상시키는 데 기여했습니다(아래 차트 참조).
IEEE 스펙트럼이 엔비디아 젠슨 황 CEO의 이름을 따서 “황의 법칙”이라는 이름을 처음으로 붙인 것은 놀라운 증가율입니다. 이 명칭은 이후 월스트리트 저널의 칼럼을 통해 대중화되었습니다.
이러한 발전은 매년 엄청난 규모로 성장하고 있는 생성형 AI에 사용되는 대규모 언어 모델의 경이로운 증가에 대응하기 위한 것이었습니다.
“이러한 수요에 부응해야 한다는 생각에 하드웨어 업계에 속도를 내고 있습니다.”라고 Dally는 말합니다.
Dally는 강연에서 1,000배의 상승을 이끈 요소에 대해 자세히 설명했습니다.
그 중 가장 큰 요인인 16배의 증가는 컴퓨터가 계산할 때 사용하는 숫자를 더 간단하게 표현하는 방법을 찾은 데서 비롯되었습니다.
새로운 계산
트랜스포머 엔진이 탑재된 최신 엔비디아 호퍼(NVIDIA Hopper) 아키텍처는 8비트 및 16비트 부동 소수점 및 정수 수학을 동적으로 혼합하여 사용합니다. 이는 오늘 날의 생성형 AI 모델의 니즈에 맞게 조정되었습니다. Dally는 새로운 계산법을 통해 얻을 수 있는 성능 향상과 에너지 절감 효과를 자세히 설명했습니다.
이와는 별도로 그의 팀은 GPU에 작업을 구성하는 방법을 알려주는 고급 명령을 만들어 12.5배의 도약을 달성하는 데 도움을 주었습니다. 이러한 복잡한 명령은 적은 에너지로 더 많은 작업을 실행하는 데 도움이 됩니다.
그 결과 컴퓨터는 “전용 가속기만큼 효율적이면서도 GPU의 모든 프로그래밍 기능을 유지할 수 있게 되었습니다.”라고 그는 말했습니다.
또한, 엔비디아 암페어 아키텍처는 모델의 정확도를 저하시키지 않으면서 AI 모델의 가중치를 단순화하는 혁신적인 방법인 구조적 희소성(structural sparsity)을 추가했습니다. 이 기술은 또 다른 2배의 성능 향상을 가져왔으며 앞으로의 발전도 약속한다고 그는 말했습니다.
Dally는 시스템 내 GPU 간의 NV링크 인터커넥트와 시스템 간의 엔비디아 네트워킹이 어떻게 단일 GPU 성능의 1,000배 향상을 가져오는지 설명했습니다.
공짜 점심은 없다
엔비디아는 10년 동안 GPU를 28nm에서 5nm 반도체 노드로 마이그레이션했지만, 이 기술은 총 이익의 2.5배에 불과하다고 Dally는 지적했습니다.
이는 칩이 점점 더 작고 빨라짐에 따라 성능이 2년마다 두 배로 증가해야 한다는 무어의 법칙에 따라 한 세대 전 컴퓨터 설계와 비교하면 엄청난 변화입니다.
이러한 성능 향상은 부분적으로 데나드 스케일링으로 설명할 수 있는데, 이는 1974년 IBM 과학자인 로버트 데나드가 공동 저술한 논문에서 정의한 물리학 공식입니다. 하지만 안타깝게도 점점 더 작고 빨라지는 디바이스가 견딜 수 있는 열의 양과 같은 물리학적인 한계에 부딪혔습니다.
낙관적인 전망
Dally는 무어의 법칙의 이득이 줄어들고 있음에도 불구하고 황의 법칙은 계속될 것이라고 자신감을 표명했습니다.
예를 들어, 그는 숫자를 표현하는 방식을 더욱 단순화하고, AI 모델에서 희소성을 높이고, 더 나은 메모리 및 통신 회로를 설계하는 데 있어 향후 몇 가지 발전 기회를 설명했습니다.
새로운 칩과 시스템 세대가 나올 때마다 새로운 혁신이 요구되기 때문에 “컴퓨터 엔지니어가 되기에 재미있는 시기”라고 그는 말했습니다.
Dally는 또한 컴퓨터 설계의 새로운 역학 관계 덕분에 엔비디아 엔지니어들이 가장 원하는 세 가지 기회, 즉 성공하는 팀의 일원이 되고, 똑똑한 사람들과 함께 일하며, 영향력 있는 설계를 할 수 있는 기회가 주어지고 있다고 믿고 있습니다.