기업용 AI와 데이터 처리 위해 손잡은 NVIDIA와 Oracle

기업들은 AI 워크로드를 지원하고 데이터 처리를 가속화하기 위해 점점 더 강력한 컴퓨팅을 찾고 있습니다. 이렇게 얻은 효율성으로 AI 훈련과 미세 조정에 대한 투자 대비 더 나은 수익, AI 추론을 위한 향상된 사용자 경험을 누릴 수 있죠.

미국 라스베이거스에서 열린 오라클 클라우드월드(Oracle CloudWorld) 콘퍼런스에서 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrasturcutre, OCI)는 NVIDIA Blackwell 플랫폼으로 가속화된 최초의 제타스케일 OCI 슈퍼클러스터(Supercluster)를 발표했습니다. 이를 통해 기업은 10만 개 이상의 NVIDIA 최신 GPU를 사용해 차세대 AI 모델을 훈련하고 배포할 수 있습니다.

OCI 슈퍼클러스터를 통해 고객은 다양한 NVIDIA GPU 중에서 필요에 따라 선택할 수 있으며, 온프레미스, 퍼블릭 클라우드, 소버린 클라우드(sovereign cloud) 등 어디에나 배포할 수 있는데요. 내년 상반기에 출시될 예정인 Blackwell 기반 시스템은 최대 131,072개의 Blackwell GPU를 RoCEv2 또는 NVIDIA Quantum-2 InfiniBand 네트워킹용 NVIDIA ConnectX-7 NIC으로 확장해 클라우드에 2.4제타플롭의 놀라운 AI 컴퓨팅을 제공할 수 있습니다. 블로그에서 OCI 슈퍼클러스터에 대해 자세히 확인하세요.

오라클은 이번 행사에서 생성형 AI 애플리케이션을 지원하는 NVIDIA GB200 NVL72 수냉식 베어메탈 인스턴스도 미리 선보였습니다. 이 인스턴스는 Quantum-2 InfiniBand를 통해 대규모 훈련이 가능하며, 확장된 72-GPU NVIDIA NVLink 도메인 내에서 수조 개의 매개변수 모델을 실시간으로 추론할 수 있죠. 이 도메인은 단일 대형 GPU처럼 작동할 수 있습니다.

올해 OCI는 NVLink와 NVLink Switch를 통해 NVIDIA HGX H200을 제공할 예정입니다. 이는 단일 베어메탈 인스턴스에 8개의 NVIDIA H200 Tensor Core GPU를 연결하고, RoCEv2 클러스터 네트워킹을 통해 NVIDIA ConnectX-7 NIC로 65,536개의 H200 GPU까지 확장될 수 있습니다. 이 인스턴스는 대규모 실시간 추론을 제공하고 훈련 워크로드를 가속화하려는 고객에게 제공됩니다. 블로그에서 NVIDIA B200, GB200, H200 GPU가 탑재된 OCI 슈퍼클러스터에 대해 알아보세요.

또한 OCI는 중급 AI 워크로드, NVIDIA Omniverse와 시각화를 위한 NVIDIA L40S GPU 가속 인스턴스의 정식 출시에 대한 소식도 발표했습니다. 여기에서 NVIDIA L40S GPU가 탑재된 OCI 슈퍼클러스터에 대해 알아볼 수 있습니다.

단일 노드부터 멀티 랙 솔루션까지, 오라클의 엣지 오퍼링(edge offering)은 연결되지 않은 원거리에서도 NVIDIA GPU로 가속화된 엣지에서 확장 가능한 AI를 제공합니다. 예를 들어, 오라클의 로빙 엣지 디바이스(Roving Edge Device) v2를 사용한 소규모 배포는 이제 최대 3개의 NVIDIA L4 Tensor Core GPU를 지원합니다.

기업들은 NVIDIA 기반 OCI 슈퍼클러스터를 사용해 AI 혁신을 추진하고 있습니다. 예를 들어, 파운데이션 모델 스타트업인 레카(Reka)는 엔터프라이즈 에이전트 개발을 위한 고급 멀티모달 AI 모델을 개발하는 데 클러스터를 사용하죠.

레카의 공동 설립자 겸 CEO인 다니 요가타마(Dani Yogatama)는 “NVIDIA와 OCI 기술로 구축된 레카의 멀티모달 AI 모델은 복잡한 세상을 파악하기 위해 읽고, 보고, 듣고, 말할 수 있는 차세대 엔터프라이즈 에이전트의 역량을 강화합니다. NVIDIA GPU 가속 인프라를 통해 우리는 매우 큰 모델과 광범위한 컨텍스트를 쉽게 처리하는 동시에 클러스터 수준에서 효율적인 확장을 위한 고밀도와 저밀도 훈련을 구현할 수 있습니다”고 말했습니다.

생성형 AI 기반 오라클 데이터베이스 워크로드 가속화

오라클 자율운영 데이터베이스(Oracle Autonomous Database)는 고객이 오라클 자율운영 데이터베이스에서 데이터 처리 워크로드를 가속화할 수 있도록 오라클 머신 러닝 노트북에 대한 NVIDIA GPU 지원을 확보하고 있습니다.

오라클 클라우드월드에서 NVIDIA와 오라클은 3가지 기능을 시연했습니다. 현재와 미래에 NVIDIA 가속 컴퓨팅 플랫폼을 사용해 성성형 AI 검색의 핵심 구성 요소인 검색 증강 생성(retrieval-augmented generation, RAG) 파이프라인을 가속화하는 방법을 보였습니다.

첫 번째 데모에서는 오라클 자율운영 데이터베이스 서버리스 내에서 직접 대량 벡터 임베딩을 가속화해 엔터프라이즈 데이터를 AI에 효율적으로 가져오는 데 NVIDIA GPU를 사용하는 방법을 소개했습니다. 이러한 벡터는 오라클 데이터베이스 23ai의 AI 벡터 검색(AI Vector Serarch)을 사용해 검색할 수 있습니다.

두 번째 데모에서는 NVIDIA GPU, NVIDIA RAPIDS cuVS, 오라클이 개발한 오프로드 프레임워크를 사용해 벡터 그래프 인덱스 생성을 가속화하는 기술실증(proof-of-concept) 프로토타입을 선보였습니다. 이는 효율적인 벡터 검색을 위한 인덱스를 구축하는 데 필요한 시간을 크게 단축합니다.

세 번째 데모에서는 사용이 간편한 추론 마이크로서비스 세트인 NVIDIA NIM이 다양한 모델 크기와 동시성 수준에서 텍스트 생성과 번역 사용 사례에 대한 생성형 AI 성능을 어떻게 향상시킬 수 있는지를 설명했습니다.

이러한 새로운 오라클 데이터베이스 기능과 데모는 기업이 오라클 데이터베이스에 저장되거나 관리되는 정형, 비정형 데이터에 생성형 AI를 도입하는 데 NVIDIA GPU를 어떻게 사용할 수 있는지를 보여줍니다.

전 세계 소버린 AI를 지원하는 NVIDIA와 오라클

NVIDIA와 오라클은 협력을 통해 전 세계에 소버린 AI 인프라를 제공함으로써 정부와 기업의 데이터 레지던시 요구 사항을 해결하고 있습니다.

브라질에 위치한 스타트업 와이드랩스(Wide Labs)는 브라질 포르투갈어를 위한 최초의 거대 언어 모델(large language model, LLM) 중 하나인 아마조니아 IA(Amazônia IA)를 개발했습니다. 이들은 데이터 주권을 보장하기 위해 OCI의 브라질 데이터센터에서 NVIDIA H100 Tensor Core GPU와 NVIDIA NeMo 프레임워크를 사용해 아마조니아 IA의 훈련과 배포를 진행했죠.

와이드랩스의 CEO인 넬슨 레오니(Nelson Leoni)는 “소버린 LLM 개발을 통해 브라질 국경 내에서 데이터를 처리하는 서비스를 고객에게 제공했습니다. 이는 아마조니아 IA가 독보적인 시장 지위를 확보할 수 있게 해줬습니다. 우리는 NVIDIA NeMo 프레임워크를 사용해 아마조니아 IA를 성공적으로 훈련했습니다”고 말했습니다.

컨설팅 서비스와 시스템 솔루션을 제공하는 일본의 글로벌 선도 기관 노무라종합연구소(Nomura Research Institute)는 NVIDIA GPU가 탑재된 OCI의 알로이(Alloy) 인프라를 사용하고 있는데요. 이를 통해 금융 규제와 데이터 주권 요건에 따라 운영되는 LLM을 통해 금융 AI 플랫폼을 강화하고 있습니다.

커뮤니케이션과 협업 서비스를 제공하는 기업인 줌(Zoom)은 현지 데이터 요건 준수를 지원하기 위해 OCI의 사우디아라비아 데이터센터에 NVIDIA GPU를 사용할 예정입니다.

또한 지리공간 모델링 회사인 RSS-하이드로(RSS-Hydro)는 자사의 홍수 매핑 플랫폼에서 디지털 트윈을 사용해 일본 구마모토 지역의 홍수 영향을 시뮬레이션해 기후 변화의 영향을 완화하는 방법을 시연하고 있다. 해당 플랫폼은 NVIDIA 옴니버스 플랫폼을 기반으로 하고, OCI의 L40S GPU로 구동됩니다.

이들 외에도 수많은 국가와 조직이 NVIDIA와 OCI를 기반으로 자국 AI 애플리케이션을 구축하고 배포해 소버린 AI 인프라를 바탕으로 경제 회복력을 높이고 있습니다.

NVIDIA와 오라클과 함께하는 엔터프라이즈급 AI

기업은 OCI의 확장 가능한 클라우드 솔루션과 함께 NIM 마이크로서비스, NVIDIA cuOpt 등의 NVIDIA 소프트웨어를 배포해 OCI에서 작업 자동화를 가속화할 수 있습니다. 이러한 솔루션을 통해 기업은 코드 생성, 경로 최적화와 같은 복잡한 작업을 수행하는 생성형 AI를 빠르게 도입하고 에이전트 워크플로우를 구축할 수 있죠.

오라클 클라우드 마켓플레이스에서 제공되는 NVIDIA AI Enterprise 소프트웨어 플랫폼에는 NVIDIA cuOpt, NIM, RAPIDS 등이 포함됩니다.