NVIDIA가 전세계 기업이 대규모 언어모델을 구축하고 개발하도록 지원합니다. 기업은 자체적으로 전례 없는 수준의 섬세함과 뉘앙스로 언어를 이해하는 고유한 도메인별 챗봇, 개인 비서와 기타 AI 애플리케이션을 구축할 수 있죠.
이를 위해 NVIDIA는 수조 개의 매개변수가 있는 언어모델 훈련을 위한 NVIDIA NeMo Megatron, 새로운 도메인 및 언어에 대해 교육할 수 있는 맞춤형 대규모 언어모델(LLM)인 Megatron 530B과 다중 GPU, 다중 노드 분산 추론 기능을 갖춘 Triton Inference Server를 공개했습니다.
해당 툴과 NVIDIA DGX 시스템을 함께 사용하면 생산 준비가 완료된 엔터프라이즈급 솔루션을 제공해 대규모 언어모델의 개발과 배포를 단순화합니다.
NVIDIA 응용 딥 러닝 리서치 부사장인 브라이언 카탄자로(Bryan Catanzaro)는 “대규모 언어모델은 전문 교육이나 감독 없이도 유연하고 능력 있게 심층 도메인 질문에 대답, 언어를 번역, 문서를 이해하고 요약하며, 스토리와 컴퓨팅 프로그램을 작성할 수 있는 것으로 입증됐습니다. 새로운 언어와 도메인에 대한 모델은 지금까지 가장 큰 슈퍼컴퓨팅 애플리케이션이고, 이제 이러한 기능을 전세계 기업에서 쉽게 사용할 수 있을 것입니다”라고 말했습니다.
Nemo Megatron과 Megatron 530B LLM 개발
NVIDIA Nemo Megatron은 대규모 변압기 언어모델의 효율적인 훈련을 연구하는 NVIDIA 연구진이 주도하는 오픈소스 프로젝트인 Megatron을 기반으로 합니다.
기업은 Nemo Megatron 프레임워크를 통해 정교한 자연어처리 모델을 더욱 쉽게 훈련할 수 있는데요. Nemo는 NVIDIA의 대규모 가속 컴퓨팅 인프라인 DGX SuperPOD 전반에서 확장할 수 있도록 최적화됐습니다.
Nemo Megatron은 데이터를 수집, 큐레이팅, 구성 및 정리하는 데이터 처리 라이브러리를 통해 대규모 언어모델의 복잡한 훈련을 자동화합니다. 데이터, tensor와 파이프라인 병렬화에 대한 고급 기술을 사용하여 수천 개의 GPU에 걸쳐 대규모 언어모델을 효율적으로 배포할 수 있죠.
Megatron 530B는 사용자 지정이 가능한 세계에서 가장 큰 언어모델입니다. 기업은 Nemo Megatron 프레임워크를 사용해 새로운 도메인과 언어를 제공하도록 교육할 수 있습니다.
Triton Inference Server로 실시간 LLM 추론 강화
이번에 발표된 최신 Triton Inference Server의 새로운 다중 GPU 다중 노드 기능을 통해 대규모 언어모델 추론 워크로드를 여러 GPU 및 노드에서 실시간으로 확장할 수 있습니다. 모델은 단일 GPU 또는 다중 GPU가 있는 대형 서버에서 사용할 수 있는 것보다 더 많은 메모리를 필요로 하며, 애플리케이션에서 유용하게 쓰이기 위해서는 추론이 빠르게 실행되어야 하죠.
Triton Inference Server를 사용하는 Megatron 530B는 두 개의 NVIDIA DGX 시스템에서 실행됩니다. 또한 CPU 서버의 처리시간을 1분 이상에서 0.5초로 단축하고 실시간 애플리케이션에 대규모 언어모델을 구현할 수 있습니다.
전세계에서 개발되는 대규모 맞춤형 언어 모델
NVIDIA DGX SuperPOD로 대규모 언어 모델을 구축하는 선두업체로는 시디(SiDi), JD 익스플로어 아카데미(JD Explore Academy)과 빈브레인(VinBrain)이 있습니다.
브라질 최대 AI 연구 개발 기관 중 하나인 시디(SiDi)는 2억명이 넘는 브라질 포르투갈어 사용자가 사용할 수 있도록 삼성의 가상 비서를 채택했죠.
시디(SiDi)의 CEO인 존 이(John Yi)는 “시디(SiDi) 팀은 강력한 AI 성능과 특수 소프트웨어를 요하는 가상 비서와 챗봇을 변화하는 언어의 뉘앙스에 맞게 훈련하고 조정하는 오랜 개발경험을 가지고 있습니다. NVIDIA DGX SuperPOD는 우리 팀이 선진화된 작업을 통해 브라질의 포르투갈어 사용자에게 세계 최고의 AI 서비스를 제공하는 데 이상적입니다”라고 말했습니다.
선도적인 공급망 기반 기술 및 서비스 제공업체인 징둥닷컴(JD.com)의 연구 개발 부서인 JD 익스플로어 아카데미는 NVIDIA DGX SuperPOD을 활용해 스마트 고객 서비스, 스마트 소매, 스마트 물류, IoT, 의료 애플리케이션과 같은 서비스를 위한 자연어 처리를 개발하고 있습니다.
베트남 기반의 AI 의료 회사인 빈브레인은 DGX SuperPOD을 통해 100개가 넘는 병원에서 600명 이상의 의료 종사자가 사용할 수 있는 방사선 전문의, 원격 의료를 위한 임상 언어 모델을 개발하여 배포했습니다.
출시 일정에 대하여
기업들은 새롭게 공개되는 NVIDIA LaunchPad를 사용하여 큐레이트 랩에서 대규모 언어 모델을 무료로 개발하고 배포할 수 있습니다.
조직들은 대규모 언어모델 훈련을 위해 가속화된 NVIDIA Nemo Megatron 프레임워크에 대한 얼리 액세스 프로그램 가입을 신청할 수 있습니다.
NVIDIA Megatron은 프레임워크, 툴킷, 사전 훈련된 모델과 주피터(Jupyter) 노트북을 포함하는 GPU 최적화 AI 소프트웨어용 허브인 NVIDIA NGC 카탈로그, 오픈소스 코드인 트리톤 깃허브(Triton GitHub) 리포지토리에서 이용할 수 있습니다.
Triton은 NVIDIA에서 최적화 인증을 지원하는 AI Enterprise 소프트웨어 제품군에도 포함되어 있는데요. 기업은 AI Enterprise를 사용하여 온프레미스 데이터센터와 프라이빗 클라우드의 메인스트림 가속 서버에서 언어 모델 추론을 실행할 수 있게 됩니다.
NVIDIA DGX SuperPOD와 NVIDIA DGX 시스템은 NVIDIA의 글로벌 판매업체를 통해 구입할 수 있으며, 구매 자격을 갖춘 고객들에게 가격 상담도 제공합니다.
11월 11일(현지시간)까지 온라인으로 진행되는 GTC의 무료 참가 등록은 여기에서 가능합니다!