사물인터넷(IoT) 센서가 대규모로 도입되면서 모든 산업에 큰 변화의 물결이 일고 있습니다. 기업들은 카메라를 통해 보고, 마이크를 통해 듣는 등 다양한 스마트 디바이스를 통해 세상에서 어떤 일이 일어나고 있는지 인지하고 이해하고 있는데요.
엣지 단에서 생성되는 데이터의 양이 기하급수적으로 늘고 있습니다. 이 방대한 데이터를 실시간으로 처리할 수 있는 유일한 방법은 서버를 작용점(point of action) 근처에 두고, GPU의 획기적인 컴퓨팅 파워를 활용하는 것이죠.
미래의 엔터프라이즈 데이터센터에서 10,000대의 서버를 한 곳에 모아 두진 않겠지만, 한 개 이상의 서버를 10,000 곳의 다른 장소에 둘 것입니다. 회사 건물이나 공장, 창고, 기지국, 학교, 상점, 은행 등에 설치되 교통 정체구역, 산불, 안전한 교통 경로를 감지하고 범죄도 예방할 겁니다.
기업들은 수백 개의 센서를 통해 데이터가 스트리밍되는 곳에 분산 서버 네트워크를 배치하고 엣지에 있는 데이터센터의 네트워크를 사용해 인공지능(AI)가 즉각적으로 조치를 취할 수 있도록 할 수 있습니다. 엣지에서 데이터가 처리되기 때문에 개인 정보가 유출되지 않고 데이터 주도권 문제도 발행하지 않게 됩니다.
엣지 서버에는 IT 임직원들이 당연시하는 물리적인 보안 인프라가 없습니다. 기업들은 이런 원격 시스템을 관리할 IT 담당자를 채용하기 위해 쓸 예산도 없죠. 그래서 엣지 서버는 자체적인 보안시스템을 갖추고 원거리에서도 쉽게 업데이트, 관리, 배포할 수 있도록 설계되어야 합니다.
또 AI 시스템은 다운타임 없이 항상 실행되야 하죠.
엔비디아 EGX 엣지 AI 플랫폼(NVIDIA EGX Edge AI platform)은 전세계적으로 보안과 복원력을 보장할 수 있도록 설계됐습니다. 엔비디아 EGX는 배포와 관리를 단순화해 얼웨이즈 온 AI 애플리케이션을 구동하며 미래의 주요 인프라를 자동화합니다. 플랫폼은 x86 기반 듀얼 소켓 서버에서 Arm 기반 엔비디아 젯슨 SoC(NVIDIA Jetson SoCs)까지 모든 곳에 GPU 가속 AI를 적용하는 쿠버네티스(Kubernetes)와 컨테이너 네이티브(container-native) 소프트웨어 플랫폼입니다.
현재까지 20개 이상의 서버 업체가 EGX 기반 엣지와 마이크로 엣지 서버를 보유하고 있는데요, 예를 들면 에이디링크(ADLINK), 어드벤텍(Advantech), 아토스(Atos), 애버미디어(AVerMedia), 시스코(Cisco), 코넥트 테크(Connect Tech), 델 테크놀로지스(Dell Technologies), 다이아몬드 시스템(Diamond Systems), 후지쯔(Fujitsu), 기가바이트(Gigabyte), 휴렛팩커드(Hewlett Packard Enterprise), 인스퍼(Inspur), 레노버(Lenovo), 콴타 테크놀로지스(Quanta Technologies)와 슈퍼마이크로(Supermicro) 등 입니다.
또한 엔비디아 엣지 생태계의 하이브리드 클라우드와 네트워크 보안 파트너사 10여곳도 있죠. 바로 캐노니컬(Canonical), 체크포인트(Check Point), 엑셀레로(Excelero), 가디코어(Guardicore), IBM, 누아지 네트웍스(Nuage Networks), 뉴타닉스(Nutanix), 팔로알토 네트웍스(Palo Alto Networks), 랜처(Rancher), 레드햇(Red Hat), VM웨어(VMware), 웨카(Weka), 윈드리버(Wind River) 등 입니다.
그 외에도 수 백 개의 AI 애플리케이션과 통합 솔루션 공급업체가 엔비디아 EGX를 기반으로 산업별 제품과 서비스를 전세계의 기업들에 제공하고 있습니다.
AI 기업들은 고객의 데이터 뿐 아니라 데이터를 어떤 행동(action)으로 전환하는 AI 모델을 보호해야 합니다. 엔비디아는 보안과 고성능 네트워크의 업계 표준인 엔비디아 멜라녹스 스마트NIC(NVIDIA Mellanox SmartNIC)를 AI 프로세서와 결합해 통합 가속기인 엔비디아 EGX A100를 선보이며 엣지 AI를 위한 새로운 혁신의 토대를 마련했습니다.
한 층 강화된 보안과 성능
하드웨어 RoT(Root-of-Trust)의 GPU와 스마트NIC의 안전하고 인증된 부팅은 디바이스 펌웨어와 디바이스 수명주기가 안전하게 관리될 수 있도록 보장합니다. 엔비디아 암페어 아키텍처의 3세대 텐서 코어 기술은 업계 최고의 AI 성능을 제공하죠. EGX A100에서만 선보이는 기밀 AI 엔클레이브(confidential AI enclave)는 새로운 GPU 보안 엔진을 사용해 암호화된 AI 모델을 로딩하고 모든 AI 아웃풋을 암호화해 중요한 IP가 도난되는 것을 미연에 방지합니다.
엣지가 암호화된 고해상도 센서로 이동하면서, 스마트NIC은 회선속도로 인-라인(in-line) 암호화 가속을 지원하게 됐습니다. 이를 통해 암호화덴 데이터 피드가 해독되고 CPU와 시스템 메모리를 우회하면서 GPU 메모리로 직접 전송됩니다.
엣지의 경우 네트워크상의 다른 디바이스로부터의 위협에서 보호받아야 하기 때문에 한층 더 높은 수준의 보안체제가 필요한데요. 스마트NIC은 하드웨어에서 동적으로 재구성 가능한 방화벽 오프로드를 통해 하이브리드 클라우드, 보안 서비스 메시 커뮤니케이션에 대한 1차 방어벽을 효율적으로 제공합니다.
엔비디아 멜라녹스(NVIDIA Mellanox)의 ‘통신사를 위한 타임 트리거드 전송 기술(time-triggered transport technology for telco) (5T for 5G)’은 상업용 기성 솔루션이 엔비디아 애리얼(Aerial) SDK을 통해 시간에 가장 민감한 5G vRAN 유스케이스에 적합하게 사용될 수 있도록 합니다. 이는 통신산업에서 새로운 클라우드랜(CloudRAN)의 트렌드를 주도할 것입니다.
하나의 통합 제품에 엔비디아 암페어 GPU와 멜라녹스 커넥트X-6 D(ConnectX-6 D)를 사용하는 EGX A100은 보안과 가상 네트워크 기능을 위해 저지연성, 높은 처리량을 갖춘 패킷 프로세싱을 제공합니다.
간소화된 대규모 배포·관리·보안 기능
엔비디아는 최적화 GPU 컨테이너 카탈로그인 NGC를 통해 산업 애플리케이션 프레임워크와 도메인 맞춤형 AI 툴킷을 제공해 처음 시작하는 방식을 간소화하고 AI 애플리케이션을 새로운 엣지 환경에 맞도록 조절합니다. 이 도구들은 개별적으로 혹은 함께 사용 가능하며 엣지에서의 다양한 유스 케이스에 활용될 수 있을 것입니다.
NGC 프라이빗 레지스트리를 사용하면 애플리케이션을 게시(publication)하기 전에 로그인해 전송 중에 훼손되지 않도록 하고 인증된 후에 엣지에서 실행할 수 있습니다. 또 NGC 프라이빗 레지스트리는 모델 버저닝(versioning)과 암호화를 지원해 가벼운 모델의 업데이트를 빠르고 안전하게 제공할 수 있습니다.
미래의 엣지 컴퓨팅은 네트워크 엣지에서 안전하고, 확장 가능하며, 회복력 있고, 관리하기 쉬운 AI 기반 시스템을 갖춰야 합니다. 엔비디아는 가속화된 엔비디아 GPU와 엔비디아 멜라녹스 스마트NIC를 결합해 엔비디아 EGX와 함께 제공하며 플랫폼과 생태계를 구축해 세계의 모든 산업에 사용될 AI 신경 시스템을 만들어가고 있습니다.
GTC 2020 기조연설을 보고 엔비디아 EGX에 대한 보다 자세한 정보를 확인하세요.