시그라프와 엔비디아는 오늘 대규모 언어 모델(LLM) 및 기타 고급 AI 애플리케이션을 구축하는 수백만 명의 개발자가 생성형 AI 슈퍼컴퓨팅을 손쉽게 사용할 수 있도록 하는 파트너십을 발표했습니다.
개발자는 허깅페이스 플랫폼에서 엔비디아 DGX™ 클라우드(NVIDIA DGX Cloud) AI 슈퍼컴퓨팅을 통해 고급 AI 모델을 훈련하고 조정할 수 있습니다. 이로써 지능형 챗봇, 검색과 요약 등 산업별 애플리케이션을 위해 비즈니스 데이터로 맞춤화된 LLM을 사용해 업계의 생성형 AI 도입을 가속화합니다.
엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “연구자와 개발자는 모든 산업을 변화시키고 있는 생성형 AI의 핵심입니다. 엔비디아와 허깅페이스는 세계 최대 규모의 AI 커뮤니티를 세계 최고의 클라우드에 있는 엔비디아의 AI 컴퓨팅 플랫폼과 연결하고 있다. 이제 허깅페이스 커뮤니티는 한 번의 클릭으로 엔비디아 AI 컴퓨팅을 이용할 수 있다”고 말했습니다.
이번 협력의 일환으로 허깅페이스는 새로운 서비스인 ‘서비스형 트레이닝 클러스터’(Training Cluster as a Service)를 제공할 예정입니다. 이 서비스는 엔비디아 DGX 클라우드를 기반으로 하며, 기업이 새로운 맞춤형 생성형 AI 모델을 손쉽게 구축할 수 있도록 지원합니다. 이는 향후 몇 달 내에 출시될 예정입니다.
허깅페이스 공동 창립자 겸 CEO인 클레망 드랑주(Clément Delangue)는 “전 세계 사람들이 생성형 AI 툴을 통해 새로운 연결과 발견을 하고 있지만, 이러한 기술 변화의 초기 단계에 불과합니다. 이번 협력은 허깅페이스에 엔비디아의 최첨단 AI 슈퍼컴퓨팅을 제공함으로써 기업들이 오픈 소스를 통해 AI의 운명을 스스로 결정하고, 미래에 기여하는 데 필요한 속도를 확보할 수 있을 것”이라고 말했습니다.
허깅페이스에서 LLM 맞춤화과 훈련 강화
개발자는 허깅페이스 플랫폼을 통해 오픈 소스 리소스를 사용해 최첨단 AI 모델을 구축, 훈련과 배포할 수 있습니다. 15,000개 이상의 조직에서 허깅페이스를 사용하고 있으며, 커뮤니티에서는 250,000개 이상의 모델과 50,000개 이상의 데이터 세트를 공유했습니다.
또한 허깅페이스와 DGX 클라우드의 통합으로 엔비디아의 멀티노드 AI 슈퍼컴퓨팅 플랫폼에 원클릭으로 액세스할 수 있습니다. 허깅페이스 사용자는 DGX 클라우드를 통해 엔비디아 AI 슈퍼컴퓨팅에 연결할 수 있습니다. 이를 통해 고유 데이터로 기초 모델을 빠르게 훈련하며 튜닝하는 데 필요한 소프트웨어와 인프라를 제공해 엔터프라이즈 LLM 개발의 새로운 물결을 주도할 것입니다. 더불어 기업들은 DGX 클라우드 기반 서비스형 트레이닝 클러스터를 통해 허깅페이스를 위한 고유 데이터를 활용해 매우 효율적인 모델을 빠른 시간 내에 생성할 수 있습니다.
대규모 모델을 위한 개발과 맞춤화 속도를 높여주는 DGX 클라우드
DGX 클라우드 각 인스턴스에는 노드당 총 640GB의 GPU 메모리를 위한 8개의 엔비디아 H100 또는 A100 80GB 텐서 코어 GPU가 탑재돼 있습니다. 엔비디아 네트워킹(Networking)은 상호 연결된 시스템 클러스터 전반에서 워크로드를 확장할 수 있도록 고성능, 저지연 패브릭을 제공해 고급 AI 워크로드의 성능 요구 사항을 충족합니다.
또한 DGX 클라우드에는 고객이 모델을 최적화하고 개발 과제를 신속하게 해결할 수 있도록 엔비디아 전문가의 지원이 포함됩니다.
DGX 클라우드 인프라는 선도적인 엔비디아 클라우드 서비스 제공업체 파트너가 호스팅합니다.
가용성
허깅페이스와 엔비디아 DGX 클라우드의 통합은 향후 몇 달 내에 제공됩니다.
여기에서 엔비디아 창립자 겸 CEO인 젠슨 황의 시그래프(SIGGRAPH) 키노트를 시청하고, 엔비디아 DGX 클라우드에 대해 알아볼 수 있습니다.