NVIDIA Blackwell GPU 플랫폼이 아마존닷컴(Amazon.com)의 자회사인 아마존웹서비스(AWS)에 제공됩니다. AWS는 NVIDIA GB200 Grace Blackwell Superchip과 B100 Tensor Core GPU를 제공함으로써 NVIDIA와 AWS가 오랫동안 맺어온 전략적 협력을 확대해 나아갑니다. 고객이 새로운 인공지능(AI) 기능을 활용할 수 있도록 가장 안전하고 진보된 인프라, 소프트웨어와 서비스를 지원하는 것이죠.
NVIDIA와 AWS는 양사의 최고 기술을 지속적으로 통합해 나가고 있습니다. 여기에는 차세대 NVIDIA Blackwell 플랫폼과 AI 소프트웨어를 갖춘 NVIDIA의 최신 멀티노드 시스템, AWS의 니트로 시스템(Nitro System)과 AWS KMS(키 관리 서비스)의 고급 보안, 엘라스틱 패브릭 어댑터(EFA) 페타비트 규모의 네트워킹, 아마존 EC2(엘라스틱 컴퓨트 클라우드) 울트라클러스터 하이퍼스케일 클러스터링 등이 있습니다. 이런 기술을 함께 사용하면, 아마존 EC2에서는 이전 세대 NVIDIA GPU보다 더 빠르고, 저렴한 비용으로 대규모로 수조 개의 파라미터 거대 언어 모델(LLM)에 대한 실시간 추론을 구축, 실행하는 인프라와 도구를 제공할 수 있습니다.
AWS의 CEO인 아담 셀립스키(Adam Selipsky)는 “양사는 13년전부터 긴밀하게 협력하며 AWS에서 세계 최초의 GPU 클라우드 인스턴스를 함께 출시했습니다. 현재 우리는 고객에게 가장 광범위한 NVIDIA GPU 솔루션을 제공하고 있습니다. NVIDIA의 차세대 Grace Blackwell 프로세서는 생성형 AI와 GPU 컴퓨팅에서 괄목할 만한 진전을 했다는 것을 뜻하죠. AWS의 강력한 엘라스틱 패브릭 어댑터 네트워킹(Elastic Fabric Adapter Networking), 아마존 EC2 울트라클러스터의 대규모 클러스터링, 독보적인 니트로 시스템의 고급 가상화와 보안 기능을 함께 사용하면 수조 개의 파라미터 거대 언어 모델을 다른 어느 곳보다 빠르고 대규모로 안전하게 구축하고 실행할 수 있습니다. 양사는 AWS를 클라우드에서 NVIDIA GPU를 실행하기 위한 최고의 환경으로 만들기 위해 지속적으로 혁신하고 있습니다”고 말했습니다.
NVIDIA의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “AI는 전례 없는 속도로 혁신을 주도하며 산업 전반에 걸쳐 새로운 애플리케이션, 비즈니스 모델 및 혁신을 이끌고 있습니다. AWS와의 협력을 통해 새로운 세대의 AI 기능을 가속화하고 고객에게 전례 없는 컴퓨팅 성능을 제공해 가능성의 범위를 넓혀가고 있습니다”고 말했습니다.
AWS와 NVIDIA의 최신 혁신으로 최첨단 LLM의 트레이닝 가속화…1조 개 이상의 파라미터 처리 가능
AWS는 5세대 NVIDIA NVLink로 상호 연결된 72개의 Blackwell GPU와 36개의 Grace CPU로 구성된 GB200 NVL72를 갖춘 NVIDIA Blackwell 플랫폼을 제공할 예정입니다. 아마존의 강력한 네트워킹(EFA)과 연결하고, 고급 가상화(AWS 니트로 시스템)와 하이퍼스케일 클러스터링(Amazon EC2 UltraCluster)의 지원을 받으면 고객은 수천 개의 GB200 슈퍼칩까지도 확장이 가능하죠. NVIDIA Blackwell은 AWS상에서 상당한 양의 컴퓨터 리소스를 필요로 하는 수조 개의 파라미터의 언어 모델의 추론 작업을 획기적으로 향상시킵니다.
AWS는 NVIDIA H100 기반 EC2 P5 인스턴스의 성공을 기반으로, 대규모로 생성형 AI 훈련과 추론을 가속화하는 EC2 울트라클러스터에 배치된 새로운 B100 GPU를 탑재한 EC2 인스턴스를 제공할 계획입니다. 고객들은 머신 러닝용 아마존 EC2 캐파시티 블록(Capacity Block)을 통해 NVIDIA H100 기반 EC2 P5 인스턴스 단기간 사용이 가능합니다. 또한 AWS에서 공동으로 만들어진 AI 플랫폼인 NVIDIA DGX 클라우드에서도 GB200을 사용할 수 있습니다. NVIDIA DGX Cloud는 엔터프라이즈 개발자가 고급 생성형 AI 모델을 구축하고 배포하는 데 필요한 인프라와 소프트웨어에 대해 전용 액세스를 제공합니다. AWS 상에서의 Blackwell 기반 DGX Cloud 인스턴스는 1조 개 이상의 파라미터를 처리할 수 있는 최첨단 생성형 AI와 LLM의 개발을 가속화할 것입니다.
AWS 니트로 시스템, AWS KMS, 암호화된 EFA와 Blackwell 암호화를 통한 AI 보안 강화
고객이 조직에서 AI를 빠르게 구현하려면, 훈련 워크플로우 전반에 걸쳐 데이터가 안전하게 처리되고 있는지 확인해야 하는데요. 모델 가중치의 보안은 고객의 지적 재산 보호, 모델 변조 방지, 모델 무결성 유지에 있어 가장 중요한 요소입니다. 모델 가중치는 모델이 훈련하는 동안 훈련하는 파라미터로서 예측능력에 매우 중요한 부분이죠.
AWS AI 인프라와 서비스에는 이미 고객이 데이터를 제어하고 제3자 모델 제공업체와 공유되지 않게 만드는 보안 기능이 마련돼 있습니다. AWS 니트로 시스템과 NVIDIA GB200의 결합은 권한이 없는 개인이 모델 가중치에 액세스하는 것을 방지함으로써 AI 보안을 한층 더 강화하죠. GB200은 GPU 간 NVLink 연결에 대한 물리적 암호화를 허용하고, Grace CPU에서 Blackwell GPU로의 데이터 전송을 암호화하며, EFA는 분산 훈련과 추론을 위해 서버 간 데이터를 암호화합니다. 또한 GB200은 AWS 니트로 시스템의 이점을 활용하는데요. AWS 니트로 시스템은 기능용 I/O를 호스트 CPU/GPU에서 특수 AWS 하드웨어로 오프로드해 보다 일관된 성능을 제공하고, 향상된 보안을 통해 처리 중에 고객 코드와 데이터를 고객과 AWS 측 모두를 보호합니다. 이러한 니트로 시스템의 기능은 AWS상에서만 이용할 수 있으며, 선도적인 사이버 보안 DJQ쳬인 NCC 그룹(NCC Group)의 독립적인 검증을 거쳤습니다.
아마존 EC2의 GB200을 통해 AWS는 고객이 AWS 니트로 엔클레이브(Nitro Enclave)와 AWS KMS를 사용해 EC2 인스턴스와 함께 신뢰할 수 있는 실행 환경을 구축하도록 지원합니다. 니트로 엔클레이브를 통해 고객은 자신의 통제 하에 있는 키 재료(key material)를 사용해 KMS로 훈련 데이터와 가중치를 암호화할 수 있습니다. 엔클레이브는 GB200 인스턴스 내에서 로딩할 수 있으며, GB200 Superchip과 직접 통신할 수 있습니다. 이를 통해 KMS는 엔클레이브와 직접 통신하고 암호학적으로 안전한 방식으로 키 재료를 전달할 수 있습니다. 그러면 엔클레이브는 해당 재료를 GB200으로 전달해 고객 인스턴스로부터 보호하고, AWS 내부 운영자조차도 키에 액세스하거나 훈련 데이터 또는 모델 가중치를 복호화할 수 없도록 보장해, 고객이 자신의 데이터를 완벽하게 통제할 수 있죠.
프로젝트 세이바, Blackwell 활용해 AWS에서 NVIDIA의 차세대 AI 혁신 추진
AWS 리인벤트(re:Invent) 2023에서 발표된 프로젝트 세이바(Project Ceiba)는 세계에서 가장 빠른 AI 슈퍼컴퓨터를 구축하기 위해 NVIDIA와 AWS가 협력하는 프로젝트입니다. AWS에서 독점적으로 호스팅되는 이 슈퍼컴퓨터는 NVIDIA의 자체 연구 개발에 사용됩니다. 20,736개의 B200 GPU를 사용하는 이 전례 없는 슈퍼컴퓨터는 새로운 NVIDIA GB200 NVL72시스템을 기반으로 구축되며, NVIDIA GB200 NVL72 시스템은 5세대 NVLink 기술을 특징으로 합니다. 이를 통해 20,736개의 B200 GPU는 10,368 NVIDIA Grace CPU에 연결될 수 있습니다. 이 슈퍼컴퓨터는 4세대 EFA 네트워킹을 통해 확장되고, 슈퍼칩당 최대 800Gbps의 저지연, 고대역폭 네트워킹 처리량을 제공해 414 엑사플롭의 대규모 AI를 처리할 수 있습니다. NVIDIA GB200 NVL72 시스템을 기반으로 구축된 세이바는 NVIDIA의 이전 세대 GPU 아키텍처인 Hopper 아키텍처를 기반으로 구축하려고 했던 초기 계획에 비해 6배나 향상된 성능을 제공합니다. NVIDIA 연구 개발 팀은 세이바를 사용해 LLM, 그래픽(이미지/비디오/3D 생성)과 시뮬레이션, 디지털 생물학, 로보틱스, 자율주행 자동차, NVIDIA Earth-2 기후 예측 등을 위한 AI기술을 발전시켜 미래 세대 AI 혁신을 촉진할 예정입니다.
AWS와 NVIDIA의 협력으로 헬스케어와 생명 과학 분야에서 생성형 AI 애플리케이션 개발과 고급 사용 사례 가속화
AWS와 NVIDIA는 협력해 아마존 세이지메이커(SageMaker)와 NVIDIA NIM 추론 마이크로서비스와 통합함으로써 고성능, 저비용의 생성형 AI를 위한 추론 서비스를 제공합니다. 이 서비스는 NVIDIA AI Enterprise와 함께 사용할 수 있죠. 고객은 이 서비스를 사용해 미리 컴파일되고 NVIDIA GPU에서 실행되도록 최적화된 기능모듈(FM)을 세이지메이커에 신속하게 배포해 생성형AI 애플리케이션의 출시 기간을 단축할 수 있습니다.
AWS와 NVIDIA는 생성 화학, 단백질 구조 예측, 약물 분자가 표적과 상호 작용하는 방식을 이해하기 위해 새로운 NVIDIA BioNeMo FM을 통해 컴퓨터 지원 신약 개발의 범위를 넓히는 데 협력하고 있습니다. 이러한 새로운 NVIDIA BioNeMo FM은 헬스케어와 생명 과학 기관들이 게놈, 전사체(transcriptomic)와 기타 오믹스(omics) 데이터를 저장, 쿼리 및 분석하는 데 도움을 주는 특수 목적 서비스인 AWS 헬스오믹스(HealthOmics)에서 곧 제공될 예정입니다.
또한, AWS 헬스오믹스와 NVIDIA 헬스케어 팀은 신약 개발, 의료 기술과 건강 분야 디지털 기술을 발전시키기 위한 생성형 AI 마이크로서비스를 출시하기 위해 협력하고 있습니다. 이에 따라 생물학, 화학, 이미징과 헬스케어 데이터를 위한 새로운 GPU 가속 클라우드 엔드포인트 카탈로그를 제공해 헬스케어 기업이 AWS에서 생성 AI의 최신 발전 기술을 활용할 수 있도록 지원합니다.