얼마 전에 열린 Microsoft Ignite 컨퍼런스에 맞춰, NVIDIA는 Microsoft와의 협력을 확대했습니다. 이 협력에는 NVIDIA Blackwell 플랫폼으로 구동되는 새로운 Microsoft Fairwater AI 슈퍼팩토리에 차세대 NVIDIA Spectrum-X Ethernet 스위치를 도입하는 것이 포함됩니다.
이 협력은 Microsoft 365 Copilot 전반에 걸친 새로운 통합, NVIDIA RTX PRO 6000 Blackwell Server Edition GPU로 구동되는 차세대 Azure NC Series VM의 공개 프리뷰, Microsoft SQL Server 2025를 위한 AI 가속화를 위한 NVIDIA Nemotron 통합, Microsoft 365 내 AI 에이전트 온보딩 기능, 그리고 고성능 추론, 사이버 보안 및 피지컬 AI를 위한 최적화가 모두 포함되는데요,
Microsoft의 AI 슈퍼팩토리는 위스콘신(Wisconsin)의 Fairwater 데이터 센터와 조지아(Georgia) 애틀랜타(Atlanta)에 있는 새로운 최첨단 시설을 연결하게 됩니다. 이 대규모 인프라는 대규모 훈련(Training)을 위해 수십만 개의 NVIDIA Blackwell GPU를 통합할 것입니다. 또한, Microsoft는 추론(Inference)을 위해 전 세계적으로 배포되는 NVIDIA GB300 NVL72 시스템에 100,000개 이상의 Blackwell Ultra GPU를 배포하고 있죠.
Microsoft의 제품 관리 담당 부사장인 Nidhi Chappell은 “NVIDIA와의 협력은 실리콘(칩)부터 서비스까지 전체 시스템과 풀 스택 전반에 걸쳐 혁신을 주도하는 데 기반을 두고 있습니다”라며, “Microsoft Azure의 비할 데 없는 데이터 센터 규모와 NVIDIA의 가속 컴퓨팅을 결합함으로써, 저희는 새로운 AI 시대를 이끌어가는 고객들에게 가장 중요한 AI 데이터 센터 성능과 효율성을 극대화하고 있습니다”라고 밝혔습니다.
OpenAI, Microsoft AI Superintelligence Team, Microsoft 365 Copilot, 그리고 Microsoft Foundry 서비스와 같은 가장 까다로운 워크로드가 이 인프라를 통해 구동될 것입니다. Black Forest Labs와 같은 고객들도 NVIDIA GB200 NVL72 시스템을 사용하여 시각 지능을 구동하는 차세대 멀티모달 FLUX 모델을 훈련하고 있죠.
이 대규모 인프라를 연결하기 위해, Microsoft는 역사상 가장 크고 정교하게 구축된 AI 팩토리인 Fairwater AI 데이터 센터에 차세대 NVIDIA Spectrum-X Ethernet 스위치를 배포하고 있으며, 이는 OpenAI가 대규모 AI 모델과 애플리케이션을 실행하는 데 필요한 성능, 규모 및 효율성을 제공합니다.
NVIDIA RTX PRO 6000 Blackwell GPU를 탑재한 새로운 Azure NCv6 Series VM은 현재 Azure에서 공개 프리뷰 중이며, 멀티모달 에이전트 AI, NVIDIA Omniverse 라이브러리를 사용한 산업 디지털화, 과학 시뮬레이션 및 시각 컴퓨팅을 포함한 여러 워크로드를 위한 적절한 크기의 가속을 제공하도록 Blackwell 플랫폼을 확장하고 있습니다. 이 유연성은 클라우드에서 엣지까지 Azure Local을 통해 확장되어, 강력한 소버린 AI 솔루션을 가능하게 하는 동시에 데이터가 위치해야 하는 모든 곳에 저지연, 실시간 AI를 제공합니다.
이를 통해 기업들은 NVIDIA RTX PRO 6000 Blackwell GPU를 사용하여 Azure 클라우드에서부터 공장 현장, 온프레미스 데이터 센터 또는 보안 엣지 위치에 이르기까지 AI 기반 디지털 트윈 및 생성형 AI 애플리케이션을 원활하게 개발, 배포 및 관리할 수 있습니다.
소프트웨어 최적화를 통해 융통성 있는(Fungible) AI 플릿을 구현
Azure에 구축된 NVIDIA 플랫폼은 NVIDIA Blackwell 및 Hopper GPU를 아우르며, Microsoft AI Superintelligence Team의 최신 모델(텍스트 MAI-1-preview, 실시간 음성 MAI-Voice-1, 고화질 이미지 생성 MAI-Image-1 포함)을 가속화합니다. 이는 Bing Image Creator와 Microsoft Copilot 전반에 걸쳐 새로운 멀티모달 경험을 제공합니다.
NVIDIA와 Microsoft 협력의 핵심은 융통성 있는 플릿(fungible fleet), 즉 최대 효율성으로 모든 워크로드를 가속화할 수 있는 유연하고 지속적으로 현대화된 인프라를 구축하는 것인데요, 이는 Azure 상의 다양한 NVIDIA 아키텍처 전반에 걸쳐 전체 AI 라이프사이클 동안 복합적인 성능 향상을 제공하고 처리량(throughput)을 극대화하는 지속적인 풀 스택(full-stack) 소프트웨어 최적화를 통해 달성됩니다. 이러한 성능 향상은 생성형 AI(Generative AI)를 넘어 데이터 처리, 벡터 검색, 데이터베이스, 디지털 트윈, 과학 컴퓨팅 및 3D 설계와 같은 워크로드까지 확장됩니다.
이 공동 엔지니어링 작업은 고객의 상당한 비용을 절감하여, 한때 이론적이었던 AI 프로젝트를 이제 경제적으로 실현 가능하게 만듭니다. 예를 들어, 지속적인 풀 스택 최적화 작업은 2년 만에 Azure 최종 사용자에게 제공되는 인기 있는 GPT 모델의 가격을 90% 이상 인하하는 데 직접적으로 기여했습니다.
현재 진행 중인 최적화 작업은 Microsoft Foundry로 확장되어, NVIDIA TensorRT-LLM 라이브러리가 광범위한 인기 있는 개방형 모델의 처리량을 높이고 지연 시간(latency)을 줄이며 비용을 절감하는 데 도움을 줍니다.
NVIDIA와 Microsoft는 또한 NVIDIA DGX Cloud Benchmarking suite를 통해 AI 워크로드 성능을 위한 플릿 최적화에 협력했습니다. 양사의 엔지니어링 팀은 긴밀하게 협력하여 병목 현상을 식별하고 인프라 튜닝을 구현하여 성능 향상을 이끌어냈습니다. NVIDIA 레퍼런스 아키텍처를 사용했을 때 가능한 성능의 95%를 달성함으로써, Microsoft는 H100 훈련 분야에서 Exemplar Cloud로 선정되었습니다.
지능형 데이터(Intelligent Data)에서 AI 에이전트(AI Agents)까지
NVIDIA와 Microsoft는 AI를 기업의 핵심에 통합하여, 세계에서 가장 신뢰받는 데이터베이스 중 하나에 저장된 수십 년간의 독점 데이터를 활용하고 있습니다.
NVIDIA는 NVIDIA Nemotron 오픈 모델과 NVIDIA NIM 마이크로서비스를 통합하여 새로운 Microsoft SQL Server 2025 내의 AI를 가속화하고 있습니다. 이 솔루션은 기업 데이터가 클라우드 또는 온프레미스에 존재하는 곳에 GPU에 최적화되고, 안전하며, 확장 가능한 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 직접 제공합니다.
또한, 이 협력은 직장 내 AI 에이전트(agentic AI)라는 새로운 영역으로 확장됩니다. NVIDIA NeMo Agent Toolkit은 이제 Microsoft Agent 365와 연결되어, 개발자들이 Outlook, Teams, Word, SharePoint를 포함한 Microsoft 365 앱 생태계에 규정을 준수하는 기업용 AI 에이전트를 직접 구축, 배포 및 온보딩할 수 있도록 합니다.
이러한 새로운 엔터프라이즈 에이전트에 동력을 제공하기 위해, Microsoft Foundry는 이제 디지털 AI를 위한 NVIDIA Nemotron 모델과 피지컬 AI를 위한 NVIDIA Cosmos 모델을 보안성이 높은 NIM 마이크로서비스로 제공합니다. 개발자들은 이를 사용하여 멀티모달 인텔리전스, 다국어 추론, 수학, 코딩 및 피지컬 AI 기능의 이점을 얻을 수 있는 광범위한 애플리케이션을 위한 엔터프라이즈급 에이전트 AI를 구축할 수 있습니다.
이 협력은 또한 기업의 사이버 위협에도 대응하고 있습니다. Microsoft와 NVIDIA는 NVIDIA Dynamo-Triton 프레임워크와 NVIDIA TensorRT 도구 모음을 기반으로 구축된 새로운 적대적 학습 모델(adversarial learning models)에 대한 연구를 공동으로 진행하고 있으며, 이는 CPU 방식에 비해 160배 빠른 성능 향상으로 기업이 실시간 사이버 보안 위협으로부터 스스로를 방어하는 데 도움을 줄 수 있습니다.
피지컬 AI (Physical AI) 및 산업 디지털화 (Industrial Digitalization)
NVIDIA와 Microsoft는 피지컬 AI의 미래를 구축하고 있습니다. Microsoft Azure에서 NVIDIA Omniverse 라이브러리를 사용할 수 있게 되면서, NVIDIA는 개발자 생태계를 통해 클라우드에서 엔드 투 엔드(end-to-end) 재산업화(reindustrialization)를 실현하고 있습니다. 개발자들은 Synopsys를 활용한 컴퓨터 지원 엔지니어링부터 Sight Machine 및 SymphonyAI를 활용한 공장 운영에 이르기까지 산업 워크플로우를 혁신하고 있습니다.
로봇 공학 개발자들은 NVIDIA Isaac Sim 오픈 소스 로봇 시뮬레이션 프레임워크를 활용하여 합성 데이터 생성부터 모든 유형의 로봇 구현을 위한 소프트웨어-인-더-루프(software-in-the-loop) 테스트에 이르기까지 핵심 워크플로우를 실현할 수 있습니다. Hexagon은 Azure에서 NVIDIA의 전체 로봇 공학 스택을 주로 사용하여 AEON 휴머노이드 로봇을 구축하고 있습니다. 마찬가지로, Azure에서 실행되는 로봇 공학 플랫폼인 Wandelbots NOVA는 Isaac Sim과 Isaac Lab을 통합하여 시뮬레이션에서 실제 배포까지의 과정을 단순화하고 가속화합니다.
또한, NVIDIA와 Microsoft는 디지털 엔지니어링을 위한 표준화된 접근 방식을 사용하여 3D 워크플로우 전반에 걸쳐 원활한 OpenUSD 상호 운용성을 구현하고, 클라우드에서 시뮬레이션 및 디지털 콘텐츠 제작에 접근할 수 있도록 하고 있습니다.
이러한 확장된 협력은 오늘 일찍이 Anthropic 및 Microsoft와 발표된 파트너십에 뒤이어 이루어진 것입니다. NVIDIA와 Anthropic은 Anthropic 모델의 성능, 효율성 및 총 소유 비용(TCO)을 최적화하기 위한 설계 및 엔지니어링에 협력할 뿐만 아니라, 향후 NVIDIA 아키텍처를 Anthropic 워크로드에 최적화하는 작업에도 협력할 것입니다.
Microsoft Ignite에서 발표된 NVIDIA와 Microsoft의 협력에 대해 더 알아보세요.