NVIDIA AI Summit Japan에서 NVIDIA는 소프트뱅크(SoftBank Corp.)와의 협업을 발표했습니다. NVIDIA는 일본의 소버린 AI 이니셔티브를 가속화하고 글로벌 기술 리더십 강화를 지원할 계획입니다. 또한 이번 협업은 전 세계 통신 사업자들에게 수십억 달러의 AI 수익 기회 창출을 목표로 합니다.
NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 NVIDIA AI Summit Japan 키노트에서 소프트뱅크가 NVIDIA Blackwell 플랫폼을 사용해 일본에서 가장 강력한 AI 슈퍼컴퓨터를 구축하고 있다고 말했습니다. 또한 차기 슈퍼컴퓨터에 NVIDIA Grace Blackwell 플랫폼을 사용할 계획이라고 발표했습니다.
그리고 NVIDIA는 소프트뱅크가 NVIDIA AI Aerial 가속 컴퓨팅 플랫폼을 사용해 세계 최초로 AI와 5G 통신 네트워크를 결합한 시범 서비스에 성공했다고 발표했습니다. 통신 사업자에게 잠재적으로 수십억 달러 상당의 AI 수익원을 열어주는 컴퓨팅 분야의 획기적인 기술이죠.
또한 NVIDIA는 소프트뱅크가 NVIDIA AI Enterprise 소프트웨어를 사용해 로컬 보안 AI 컴퓨팅에 대한 수요를 충족할 수 있는 AI 마켓플레이스를 구축할 계획이라고 발표했습니다. 소프트뱅크는 AI 훈련과 엣지 AI 추론을 지원하는 새로운 서비스를 통해 일본의 산업, 소비자, 기업 전반에 걸쳐 AI 서비스의 생성, 배포, 사용을 위한 새로운 비즈니스 기회를 촉진할 예정입니다.
젠슨 황은 “일본은 전 세계에 영향을 미치는 기술 혁신을 선도해온 오랜 역사를 갖고 있습니다. 소프트뱅크가 NVIDIA의 풀스택 AI, Omniverse, 5G AI-RAN 플랫폼에 대한 막대한 투자를 함으로써, 일본은 AI 산업 혁명의 글로벌 리더로 도약하고 있습니다. 일본은 통신, 교통, 로보틱스, 의료 산업 전반에 걸쳐 새로운 성장의 시대를 주도해 AI 시대에 인류에게 큰 혜택을 제공할 것”이라고 말했습니다.
소프트뱅크 사장 겸 CEO인 미야카와 준이치(Junichi Miyakawa)는 “전 세계 국가와 지역이 사회와 경제 성장을 위해 AI 도입을 가속화하고 있으며, 사회는 중대한 변화를 겪고 있습니다. 소프트뱅크는 NVIDIA와의 오랜 협력을 통해 이러한 변화를 최전선에서 주도하고 있죠. 매우 강력한 AI 인프라와, AI를 위한 5G 네트워크를 재창조하는 새로운 분산형 AI-RAN 솔루션 ‘아이트라스(AITRAS)’를 통해 일본 전역과 전 세계에서 혁신을 가속화할 것”이라고 말했습니다.
소프트뱅크 Blackwell 최초 도입: Grace Blackwell 계획 발표
소프트뱅크는 세계 최초로 NVIDIA DGX™ B200 시스템을 공급받을 예정이며, 새로운 NVIDIA DGX SuperPOD™ 슈퍼컴퓨터의 빌딩 블록 역할을 할 것입니다.
소프트뱅크는 자체 생성형 AI 개발과 AI 관련 사업뿐만 아니라 일본 전역의 대학, 연구 기관, 기업에서 Blackwell 기반 DGX SuperPOD을 사용할 계획입니다.
이 프로젝트가 완료되면, 소프트뱅크의 DGX SuperPOD은 일본에서 가장 뛰어난 성능을 발휘할 것으로 기대됩니다. NVIDIA AI Enterprise 소프트웨어와 NVIDIA Quantum-2 InfiniBand 네트워킹을 갖추고 있어 거대 언어 모델(large language model, LLM) 개발에도 이상적이죠.
소프트뱅크는 DGX SuperPOD 외에도 극도로 컴퓨팅 집약적인 워크로드를 실행하기 위해 또 다른 NVIDIA 가속 슈퍼컴퓨터를 구축할 계획입니다. 이 슈퍼컴퓨터의 초기 계획은 NVIDIA Grace Blackwell 플랫폼 설계를 기반으로 합니다. 이 설계는 NVIDIA Blackwell GPU와 전력 효율이 뛰어난 Arm 기반 NVIDIA Grace™ CPU를 결합한 NVIDIA GB200 NVL72 멀티노드 수냉식 랙 스케일 시스템을 갖추고 있습니다.
새로운 이정표에 도달한 AI-RAN
소프트뱅크는 NVIDIA와 긴밀히 협력해 AI와 5G 워크로드를 동시에 실행할 수 있는 새로운 종류의 통신 네트워크를 개발하는 기술 이정표를 달성했습니다. 업계에서는 이를 AI-RAN(artificial intelligence radio access network)이라고 부르죠.
이 새로운 유형의 인프라는 통신 사업자에게 기지국을 비용 센터에서 AI 수익 창출 자산으로 전환할 수 있는 기능을 제공해 통신 업계의 광범위한 생태계 지원을 받고 있습니다.
소프트뱅크는 가나가와 현에서 실시한 실외 실험을 통해 NVIDIA 가속 AI-RAN 솔루션이 캐리어급 5G 성능을 달성했으며, 네트워크의 초과 용량을 사용해 AI 추론 워크로드를 동시에 실행할 수 있음을 입증했습니다.
기존 통신사 네트워크는 피크 부하를 처리하도록 설계돼 평균적으로 해당 용량의 3분의 1만 사용했는데요. 이제 통신사는 AI-RAN이 제공하는 공통 컴퓨팅 기능을 통해 나머지 3분의 2 용량을 AI 추론 서비스를 위해 수익화할 수 있을 것으로 예상됩니다.
NVIDIA와 소프트뱅크는 통신 사업자가 새로운 AI-RAN 인프라에 1달러의 자본을 투자할 때마다 약 5달러의 AI 추론 수익을 얻을 수 있을 것으로 예상하고 있습니다.[1] 운영 비용과 자본 비용을 고려할 때, 소프트뱅크는 인프라에 추가하는 모든 AI-RAN 서버에 대해 최대 219%의 수익을 달성할 수 있을 것으로 예상합니다.[2]
AI-RAN에서의 실제 추론 실행
소프트뱅크는 이번 실험에서 NVIDIA AI Enterprise를 사용해 자율주행 자동차 원격 지원, 로보틱스 제어, 엣지에서의 멀티모달 검색 자동 생성을 포함한 실제 AI 추론 애플리케이션을 구축했습니다. 모든 추론 워크로드는 소프트뱅크의 AI-RAN 네트워크에서 최적으로 실행될 수 있었는데요.
소프트뱅크의 완전 소프트웨어 정의 5G 무선 스택은 NVIDIA의 AI 컴퓨팅 플랫폼에 최적화돼 있습니다. 또한 NVIDIA Aerial™ CUDA® 가속 RAN 라이브러리를 기반으로 강화한 L1 소프트웨어도 포함되죠. 소프트뱅크는 기존 5G 네트워크 인프라보다 40% 적은 전력을 사용할 수 있는[3] NVIDIA Aerial RAN 컴퓨터-1 시스템을 향후 자사 솔루션에 통합할 계획입니다.
소프트뱅크의 AI-RAN 솔루션 실험에 기여한 NVIDIA와 소프트뱅크의 파트너사로는 후지쯔(Fujitsu)와 레드햇(Red Hat)이 있습니다.
공급과 수요의 매칭
AI-RAN 솔루션은 캐리어급 성능을 실시간으로 저하시키지 않으면서도 수요와 공급에 따라 동적으로 컴퓨팅을 증감해야 합니다. 이를 위해 소프트뱅크는 NVIDIA AI Enterprise 서버리스 애플리케이션 프로그래밍 인터페이스와 자체 개발한 오케스트레이터(orchestrator)를 사용해 AI 기술의 수요와 공급을 연결하는 생태계를 구축하는 것을 목표로 하고 있습니다. 이를 통해 소프트뱅크는 컴퓨팅 리소스를 사용할 수 있을 때 외부 AI 추론 작업을 AI-RAN 서버로 전송해 로컬라이즈된 저지연 보안 추론 서비스를 제공할 수 있습니다.
NVIDIA 통신 담당 수석 부사장인 로니 바시스타(Ronnie Vasishta)는 “단일 목적에서 다목적 AI-RAN 네트워크로 전환하면 투자한 1달러당 5배의 수익을 얻을 수 있습니다. 소프트뱅크의 실시간 실외 실험은 기술 실현 가능성, 성능, 경제성을 검증함으로써 AI-RAN 상용화를 향한 큰 발걸음을 내디딘 것”이라고 말했습니다.
소프트뱅크 부사장 겸 첨단기술연구소장인 와키카와 류지(Ryuji Wakikawa)는 “소프트뱅크의 ‘아이트라스’는 NVIDIA와 5년간의 협업을 통해 개발된 최초의 AI-RAN 솔루션입니다. 이 솔루션은 소프트뱅크가 개발한 오케스트레이터를 통해 AI와 RAN 워크로드를 통합, 조정하며, 단일 NVIDIA 가속 GPU 서버에서 고밀도 셀을 실행해 통신 효율성을 향상시키죠. 우리는 이 AI 기반 혁신인 ‘아이트라스’가 통신 분야의 새로운 비즈니스 모델을 위한 길을 열어 모바일 사업자 혁신에 중요한 역할을 할 것으로 확신합니다”고 말했습니다.
AI-RAN을 위한 NVIDIA 솔루션에 대해 자세히 알아보세요.
[1] 결과는 구현 시점의 실제 수익을 보장하지 않는다.
[2] 소프트뱅크의 추정치 기준.
[3] NVIDIA와 소프트뱅크의 추정치 기준. 결과는 구현 시점의 실제 전력 절감을 보장하지 않는다.