전 세계 통신 네트워크는 하루에 수백만 건의 사용자 연결을 지원하며, 분당 평균 3,800TB 이상의 데이터를 생성합니다.
기지국, 라우터, 스위치, 데이터센터에서 생성되는 네트워크 트래픽 정보, 성능 지표, 구성, 토폴로지(topology) 등의 방대한 연속 데이터 흐름은 복잡하고 비정형적인데요. 따라서 기존의 자동화 도구만으로는 이러한 데이터를 포함한 대규모의 실시간 작업을 처리하는 데 종종 한계를 보였습니다.
이러한 과제를 해결하기 위해 NVIDIA는 NVIDIA AI Enterprise 소프트웨어 플랫폼 내 NVIDIA NIM과 NeMo 마이크로서비스를 활용해 통신 업계를 위한 맞춤형 거대 통신 모델(large telco models, LTM)과 AI 에이전트(AI agent)를 개발하고 있다고 발표했습니다. 이러한 LTM과 AI 에이전트는 네트워크 운영에 차세대 AI를 적용할 수 있도록 지원합니다.
LTM은 통신 네트워크 데이터를 대상으로 훈련된 멀티모달 거대 언어 모델(large language models, LLM)로, 네트워크 AI 에이전트 개발의 핵심 요소입니다. 이를 통해 복잡한 의사 결정 워크플로우를 자동화하고, 운영 효율성을 높이며, 직원 생산성과 네트워크 성능을 향상할 수 있습니다.
소프트뱅크(SoftBank)와 테크 마힌드라(Tech Mahindra)는 새로운 LTM과 AI 에이전트를 개발했으며, 암독스(Amdocs), 버블RAN(BubbleRAN), 서비스나우(ServiceNow)는 새로운 AI 에이전트로 네트워크 운영과 최적화를 추진하고 있습니다. 이 모든 과정에서 NVIDIA AI Enterprise를 이용하고 있죠.
최근 NVIDIA가 실시한 통신 업계 설문조사에서 응답자의 40%가 네트워크 계획과 운영에 AI를 도입하고 있다고 밝혀, 이러한 최적화 작업의 중요성이 더욱 부각되고 있습니다.
네트워크 언어를 이해하는 LTM
이제 LTM을 통해 AI 에이전트는 통신 네트워크의 언어를 이해할 수 있습니다. LLM이 인간 언어를 이해하고 생성하며, NVIDIA BioNeMo NIM 마이크로서비스가 신약 개발을 위한 생물학적 데이터를 이해하는 것과 같죠.
협력사들이 NVIDIA AI Enterprise를 활용해 개발한 LTM의 특징은 다음과 같습니다.
- 네트워크 인텔리전스 특화: 실시간 네트워크 이벤트를 이해하고, 장애를 예측하며, 문제 해결을 자동화할 수 있습니다.
- 통신 워크로드 최적화: NVIDIA NIM 마이크로서비스로 LTM을 최적화해 높은 효율성, 정확성, 저지연을 구현합니다.
- 지속적 학습과 적응에 적합: 훈련 후에도 확장 가능한 LTM은 NVIDIA NeMo 활용으로 새로운 이벤트, 경고, 이상 현상을 학습해 지속적으로 성능을 향상시킬 수 있습니다.
NVIDIA AI Enterprise는 네트워크 운영 간소화, 비용 절감, 효율성 향상을 지원하는 AI 에이전트 구축을 위한 추가 도구와 Blueprint를 제공합니다. 동시에 다음과 같은 네트워크 핵심 성과 지표(key performance indicators, KPIs)를 개선합니다.
- 작업 중단 시간 감소: AI 에이전트가 장애를 미리 예측해 네트워크 회복력을 제공합니다.
- 고객 경험 개선: AI 기반 최적화를 통해 네트워크 속도를 높이고, 장애 발생을 줄이며, 끊김 없는 연결을 제공합니다.
- 보안 강화: 지속적으로 위협을 탐지해 실시간 사이버 위협을 완화하는 데 도움을 줍니다.
업계 리더들의 LTM과 AI 에이전트 개발 현황
통신 업계의 선도 기업들은 NVIDIA AI Enteprise를 활용해 최신 기술을 발전시키고 있습니다.
소프트뱅크는 자체 네트워크 데이터를 기반으로 대규모 LLM을 훈련해 새로운 LTM을 개발했는데요. 초기에 네트워크 구성 최적화에 중점을 두었던 이 모델은 NVIDIA NIM 마이크로서비스로 제공됩니다. 이는 경기장이나 행사장과 같은 대규모 이벤트에서 발생하는 트래픽 변화를 포함한 네트워크 트래픽 변동에 맞춰 자동으로 네트워크를 재구성할 수 있습니다. 또한, 통신 네트워크 운영 전반에 AI 도입을 가속화하기 위해 네트워크 에이전트 블루프린트를 도입하고 있습니다.
테크 마힌드라는 NVIDIA의 에이전틱 AI(Agentic AI) 도구를 활용해 주요 네트워크 운영 문제 해결을 위한 LTM을 개발했습니다. 적응형 네트워크 인사이트 스튜디오(Adaptive Network Insights Studio)는 이 LTM을 기반으로 네트워크 문제를 360도로 분석하고, 다양한 수준의 자동화된 보고서를 생성해 IT 팀, 네트워크 엔지니어, 경영진이 문제를 자세히 파악하고 해결할 수 있도록 지원하죠.
또한, 테크 마힌드라의 사전 예방형 네트워크 이상 해결 허브(Proactive Network Anomaly Resolution Hub)는 LTM 활용으로 상당수의 네트워크 이벤트를 자동으로 해결해 엔지니어의 업무 부담을 줄이고 생산성을 향상시킵니다.
암독스의 어메이즈(amAIz) 에이전트를 기반으로 한 네트워크 어슈어런스 에이전트(Network Assurance Agent)는 장애 예측과 같은 반복적인 작업을 자동화합니다. 또한, 네트워크 문제에 대한 영향 분석과 예방 조치를 수행하고, 발생한 문제 해결을 위한 단계별 가이드를 제공하죠. 또한, 네트워크 디플로이먼트 에이전트(Network Deployment Agent)는 개방형 RAN 도입을 간소화하고, 통합과 배포 작업, 상호 운용성 테스트를 자동화하며, 네트워크 엔지니어에게 유용한 인사이트를 제공합니다.
버블RAN은 클라우드 네이티브 인프라에서 다중 AI 에이전트가 적용된 자율형 RAN 인텔리전스 플랫폼을 개발하고 있습니다. 이 플랫폼에서 LTM은 네트워크 상태, 구성, 가용성, KPI를 실시간으로 관찰해 모니터링과 문제 해결을 지원합니다. 또한, 고급 실행 도구를 활용해 네트워크 재구성과 정책 시행 프로세스를 자동화합니다. 버블RAN의 AI 에이전트는 고급 검색 증강 생성(retrieval-augmented generation, RAG) 파이프라인과 통신 특화 API를 활용해 사용자 요구를 충족하며, 5G 배포와 관련된 실시간 질문에 대응합니다.
서비스나우의 통신 AI 에이전트는 NVIDIA DGX Cloud 기반의 NVIDIA AI Enterprise를 활용해 문제 해결 전략을 세우고 네트워크 장애를 사전에 예측해 생산성을 높입니다. 이를 통해 통신 서비스 제공업체는 문제 해결 시간을 단축하고 고객 만족도를 높일 수 있죠. 또한, 새로운 AI 에이전트는 네트워크 장애를 분석하고 근본적인 원인을 파악해 문제를 더욱 신속하게 해결하고 재발을 방지할 수 있습니다.
최신 에이전트 AI 발전에 대한 자세한 정보는 NVIDIA GTC에서 확인할 수 있습니다.