AI와 가속화된 컴퓨팅이 에너지 효율을 어떻게 높이는가

NVIDIA가 지속적으로 향상시키고 있는 쌍둥이 엔진인 AI와 가속 컴퓨팅은 많은 산업에 높은 에너지 효율성을 제공하고 있습니다.

이는 더 많은 커뮤니티가 인정하기 시작한 진전입니다.

2003년 설립된 경제 및 사회 문제를 연구하는 비영리 단체인 Lisbon Council Research의 보고서는 “데이터센터가 곧 전 세계 에너지 소비의 4%를 차지할 것이라는 예측이 현실이 되더라도 AI는 나머지 96%의 에너지 소비를 줄이는 데 큰 영향을 미치고 있습니다.”라고 발표했습니다.

브뤼셀에 본사를 둔 이 연구 단체의 이 보고서는 최근 몇 가지 큰 그림의 AI 정책 연구 중 하나입니다. 이 보고서는 약 14,000개의 NVIDIA GPU로 가속화된 이탈리아의 Leonardo 슈퍼컴퓨터를 자동차 설계와 신약 개발에서 일기 예보에 이르는 다양한 분야의 작업을 발전시키는 시스템의 활용 사례로 사용하고 있습니다.

TOP500 목록에서 가장 효율적인 슈퍼컴퓨터의 시간이 지남에 따라 에너지 효율이 향상되었습니다. 출처: TOP500.org

가속화된 컴퓨팅이 지속 가능한 컴퓨팅인 이유

가속 컴퓨팅은 NVIDIA GPU의 병렬 처리를 사용하여 더 짧은 시간에 더 많은 작업을 수행합니다. 따라서 한 번에 하나의 작업을 처리하도록 설계된 CPU를 사용하는 범용 서버보다 에너지 소비가 적습니다.

이것이 바로 가속 컴퓨팅이 지속 가능한 컴퓨팅인 이유입니다.

가속화된 시스템은 GPU의 병렬 처리를 사용하여 CPU보다 적은 에너지를 소비하면서 더 짧은 시간에 더 많은 작업을 수행합니다.

오늘 날 가장 혁신적인 혁신적인 기술이자 병렬 컴퓨팅 형태인 가속화된 시스템을 AI에 적용할 경우 그 이점은 훨씬 더 커집니다.

“머신 러닝이나 딥 러닝과 같은 첨단 애플리케이션의 경우 GPU의 성능이 CPU보다 훨씬 뛰어납니다.”라고 보고서는 말합니다.

CPU 전용 작업에서 GPU 가속 시스템으로 전환함으로써 HPC와 AI 워크로드는 연간 40테라와트시 이상의 에너지를 절약할 수 있으며, 이는 미국 가정 약 500만 가구의 전력 수요와 맞먹는 양입니다.

NVIDIA는 가속화된 컴퓨팅으로 에너지 효율성을 극대화하도록 맞춤화된 GPU, CPU 및 DPU 조합을 제공합니다.

가속화된 AI를 통한 사용자 경험

전 세계 사용자들이 AI 및 가속 컴퓨팅을 통해 에너지 효율을 개선한 사례를 기록하고 있습니다.

금융 서비스 분야에서는 매일 6만 명 이상이 사용하는 거래와 리스크 관리 플랫폼을 운영하는 파리에 본사를 둔 Murex가 NVIDIA Grace Hopper 슈퍼칩을 테스트했습니다. 워크로드에서 CPU-GPU 조합은 CPU 전용 시스템에 비해 에너지 소비를 4배 줄이고 완료 시간을 7배 단축했습니다(아래 차트 참조).

“위험 계산에서 Grace는 가장 빠른 프로세서일 뿐만 아니라 전력 효율도 훨씬 높아 트레이딩 업계에서 그린 IT를 실현하고 있습니다.”라고 Murex의 정량적 연구 책임자 Pierre Spatz는 말합니다.

대만에 본사를 둔 Wistron은 제조 분야에서 현장의 운영을 개선하기 위해 NVIDIA DGX 시스템이 열 스트레스 테스트를 거치는 공간의 디지털 카피들을 구축했습니다. 여기에는 시뮬레이션을 에뮬레이트하는 AI 버전인 대리 모델과 함께 산업 디지털화를 위한 플랫폼인 NVIDIA Omniverse가 사용되었습니다.

수천 개의 네트워크 센서에 연결된 디지털 트윈을 통해 Wistron은 시설의 전체 에너지 효율을 최대 10%까지 높일 수 있었습니다. 이는 연간 120,000kWh의 전력 소비량과 무려 60,000kg의 탄소 배출량을 줄이는 것과 같습니다.

탄소 배출량 최대 80% 감소

최근 벤치마크에 따르면 Apache Spark용 RAPIDS 가속기는 널리 사용되는 머신 러닝 형태인 데이터 분석의 탄소 발자국을 80%까지 줄이는 동시에 평균 속도를 5배 높이고 컴퓨팅 비용을 4배 절감할 수 있는 것으로 나타났습니다.

Fortune 500대 기업 중 약 80%에 해당하는 수천 개의 기업이 Apache Spark를 사용하여 증가하는 데이터 산을 분석하고 있습니다. NVIDIA의 Spark 가속기를 사용하는 기업으로는 Adobe, AT&T, 미국 국세청 등이 있습니다.

헬스케 분야에서 Insilico Medicine은 NVIDIA 기반 AI 플랫폼 덕분에 비교적 희귀한 호흡기 질환에 대한 신약 후보를 발견하고 임상 2상 시험에 돌입했습니다.

기존 방법을 사용했다면 4억 달러 이상의 비용과 최대 6년의 시간이 소요되었을 것입니다. 하지만 Insilico는 생성형 AI를 통해 1/10의 비용으로 1/3의 시간 만에 이정표를 달성했습니다.

“이는 저희뿐만 아니라 AI 가속 신약 개발 분야의 모든 사람에게 중요한 이정표입니다.”라고 Insilico Medicine의 CEO인 Alex Zhavoronkov는 밝혔습니다.

이는 Amgen, BMW, Foxconn, PayPal 등의 기업에서 가속 컴퓨팅과 AI를 활용해 얻은 결과의 일부에 불과합니다.

가속화된 AI로 과학 기술 발전 속도 향상

기초 연구 분야에서 미국 에너지부의 개방형 과학 선도 시설인 국립 에너지 연구 과학 컴퓨팅 센터(NERSC)는 주요 고성능 컴퓨팅 및 AI 애플리케이션 4가지에 대해 듀얼 소켓 x86 CPU 서버와 비교하여 NVIDIA A100 텐서 코어 GPU 4개를 탑재한 서버에서 결과를 측정했습니다.

연구원들은 NVIDIA A100 GPU로 가속화된 애플리케이션의 에너지 효율이 평균 5배 증가했음을 발견했습니다(아래 참조). 일기 예보를 위한 한 애플리케이션은 거의 10배의 이득을 기록했습니다.

전 세계의 과학자와 연구원들은 고성능과 효율성을 달성하기 위해 AI와 가속 컴퓨팅에 의존하고 있습니다.

최근 Green500으로 알려진 세계에서 가장 에너지 효율적인 슈퍼컴퓨터 순위에서 NVIDIA 기반 시스템이 상위 6위와 상위 50위 중 40위를 휩쓸었습니다.

과소평가된 에너지 절감 효과

산업과 과학 분야 전반에 걸쳐 많은 장점이 있지만, 가장 큰 AI 모델을 학습시키는 데 드는 에너지 소비량만 추정하는 예측에서는 간과되는 경우가 있습니다. 이는 상대적으로 적은 에너지를 소비하는 대부분의 AI 모델 라이프 사이클에서 사용자가 위에서 설명한 종류의 효율성을 제공하는 이점을 놓치는 것입니다.

최근 한 연구에서는 수십 개의 출처를 인용한 분석에서 학습 모델을 기반으로 한 예측이 잘못되고 부풀려졌다고 폭로했습니다.

워싱턴 소재의 싱크탱크인 정보기술혁신재단(ITIF)의 보고서는 “전자상거래와 비디오 스트리밍의 에너지 발자국에 대한 초기 예측이 궁극적으로 과장된 것으로 판명된 것처럼, AI에 대한 예측도 틀릴 가능성이 높습니다.”라고 말합니다.

이 보고서는 AI 모델을 실행하는 데 드는 비용과 모든 효율성 향상의 90%가 학습을 거친 후 애플리케이션에 배포하는 데 발생한다고 지적합니다.

보고서의 저자는 최근 팟캐스트에서 자신의 연구 결과를 설명하면서 “저탄소 미래로의 전환을 포함하여 경제와 사회에 혜택을 주기 위해 AI를 사용할 수 있는 엄청난 기회를 고려할 때 정책 입안자와 미디어가 AI의 환경 영향에 대한 주장을 더 잘 검증하는 것이 필수적입니다.”라고 말했습니다.

AI의 에너지 혜택에 대해 언급하는 사람들

워싱턴 DC에 있는 R Street Institute의 정책 분석가들도 이에 동의했습니다.

이 그룹은 1,200단어 분량의 기사에서 “정책 입안자들은 멈추기보다는 AI의 잠재적 이득을 실현하도록 도와야 합니다.”라고 썼습니다.

“컴퓨팅의 가속화와 AI의 부상은 경제 성장과 사회 복지 측면에서 상당한 사회적 혜택을 가져다주는 미래에 대한 큰 가능성을 가지고 있습니다.”라며 신약 개발, 뱅킹, 주식 거래, 그리고 보험 분야에서 입증된 AI의 이점을 언급했습니다.

또한 AI는 전력망, 제조 및 운송 부문을 더욱 효율적으로 만들 수 있다고 덧붙였습니다.

지속 가능성을 지원하는 AI

이 보고서는 기후 변화에 대응하고 지속 가능성을 증진하기 위한 AI의 잠재력도 언급했습니다.

“AI는 날씨 모델링의 정확성을 높여 공공 안전을 개선하고 농작물 수확량을 보다 정확하게 예측할 수 있습니다. AI의 힘은 또한 더 정확한 기후 모델을 개발하는 데에도 기여할 수 있습니다.”라고 R Street는 밝혔습니다.

Lisbon 보고서는 AI가 더 효율적인 배터리 소재를 발견하는 등의 작업을 위해 “기후 변화에 대처하는 데 필요한 혁신에 중요한 역할을 합니다”고 덧붙였습니다.

AI가 환경을 도울 수 있는 방법

ITIF는 각국 정부에 탈탄소화를 위한 노력의 도구로 AI를 채택할 것을 촉구했습니다.

공공 및 민간 기관은 이미 산호초 보호, 산불, 극한 날씨의 트래킹 개선, 지속 가능한 농업 강화를 위해 NVIDIA AI를 적용하고 있습니다.

또한, NVIDIA는 기후 문제 해결을 위해 AI를 활용하는 수백 곳의 스타트업과 협력하고 있습니다. 또한 NVIDIA는 세계에서 가장 강력한 기후 과학 전용 AI 슈퍼컴퓨터가 될 것으로 기대되는 Earth-2에 대한 계획도 발표했습니다.

스택 전반의 에너지 효율성 향상

1993년 창립 이래 NVIDIA는 GPU, CPU, DPU, 네트워크, 시스템 및 소프트웨어는 물론 Omniverse와 같은 플랫폼 등 모든 제품에서 에너지 효율성을 위해 노력해 왔습니다.

AI에서 AI 모델의 핵심은 추론이며, 사용자가 새로운 효율성을 달성하는 데 도움이 되는 인사이트를 제공합니다. NVIDIA GB200 Grace Blackwell 슈퍼칩은 AI 추론에서 이전 세대의 NVIDIA Hopper GPU 대비 25배의 에너지 효율성을 입증했습니다.

지난 8년 동안 NVIDIA GPU는 거대 언어 모델을 실행할 때 에너지 효율이 무려 45,000배 향상되었습니다(아래 차트 참조).

최근 소프트웨어의 혁신에는 TensorRT-LLM이 포함됩니다. 이 기술은 GPU가 LLM 추론의 에너지 소비를 3배로 줄일 수 있도록 도와줍니다.

눈에 띄는 통계가 있습니다. NVIDIA가 가속 컴퓨팅 플랫폼에서 AI의 효율성을 향상시킨 만큼 자동차의 효율성이 향상된다면 자동차는 갤런당 280,000마일을 주행할 수 있습니다. 즉, 1갤런 미만의 기름으로 달까지 달릴 수 있다는 뜻입니다.

이 분석은 2016년부터 2025년까지 NVIDIA가 AI 훈련과 추론 분야에서 무려 10,000배의 효율성 향상을 이룬 자동차의 연비에도 적용됩니다(아래 차트 참조).

NVIDIA P100 GPU에서 NVIDIA Grace Blackwell로의 AI 효율성 도약이 자동차 연비 향상과 어떻게 비교되는지 알아보세요.

데이터센터 효율성 향상

NVIDIA는 시스템 수준의 혁신을 통해 많은 최적화를 제공합니다. 예를 들어, NVIDIA BlueField-3 DPU는 효율성이 낮은 CPU에서 필수 데이터센터 네트워킹 및 인프라 기능을 오프로드하여 전력 소비를 최대 30%까지 줄일 수 있습니다.

작년에 NVIDIA는 데이터센터를 위한 새로운 액체 냉각 기술을 설계하기 위해 미국 에너지부로부터 5백만 달러의 보조금을 받았는데, 이는 100개 이상의 신청 기관 중 가장 큰 규모입니다. 이 기술은 오늘날의 공랭식 방식보다 20% 더 효율적으로 운영되며 탄소 발자국도 더 적습니다.

이는 NVIDIA가 데이터센터의 에너지 효율에 기여하는 방법 중 일부에 불과합니다.