최근 엔비디아는 엣지(edge)에서 낮은 지연시간으로 실시간 인공지능(AI) 수행이 가능한 가속 컴퓨팅 플랫폼 ‘엔비디아 EGX(NVIDIA EGX)’를 발표했습니다. 이 플랫폼은 기업들이 5G 기지국, 웨어하우스, 리테일, 공장 등에서 발생하는 연속 스트리밍 데이터를 실시간으로 감지, 이해, 대응할 수 있도록 돕습니다.
엔비디아 EGX는 클라우드로 전송돼야 하는 데이터 양을 줄이는 동시에, 데이터가 생성되는 엣지 단에서 즉각적이며 높은 처리량(throughput)의 AI를 수행하려는 수요를 충족시키기 위해 개발됐습니다.
시장 조사기관 IDC에 따르면, 2025년에는 1,500억개의 머신 센서와 사물인터넷(IoT) 디바이스가 처리돼야 할 연속 데이터를 스트리밍할 것으로 예상됩니다. 이는 스마트폰을 사용하는 개인으로부터 발생하는 데이터보다 많은 양입니다. 엔비디아 EGX 플랫폼과 같은 엣지 서버는 전세계에 걸쳐 이러한 센서로부터 데이터를 실시간으로 처리하는데 사용될 예정입니다.
엔비디아 엔터프라이즈와 엣지 컴퓨팅 부문 부사장 겸 총괄을 맡은 밥 피트(Bob Pette)는 “기업들은 고객과 디바이스 간의 무수한 상호작용으로부터 스트리밍 되는 방대한 양의 원시적 데이터(raw data)를 처리하기 위해 엣지에서 보다 강력한 컴퓨팅을 필요로 하고 있습니다. 즉, AI 성능이 향상된 신속한 의사결정을 통해 비즈니스를 추진하고자 합니다. 엔비디아 EGX와 같은 확장 가능한 플랫폼은 온프레미스와 클라우드 환경 모두에서 시스템을 쉽게 구축함으로써 기업의 요구사항을 충족시킬 수 있습니다“라고 말했습니다.
뛰어난 확장성
엔비디아 EGX는 소형 AI 컴퓨터 엔비디아 젯슨 나노(NVIDIA Jetson Nano)로 시작 가능하며, 이미지 인식과 같은 작업을 처리하기 위해 불과 몇 와트(w)에 불과한 저전력으로 1초당 5천억 회의 연산이 가능합니다. 또한, 이 제품은 실시간 음성 인식과 기타 실시간 AI 작업을 위해 최대 1만 초당테라연산(TOPS)의 성능을 제공하는 엔비디아 T4 서버의 전체 랙으로 연결됩니다.
엔터프라이즈급 성능
엔비디아는 레드햇(Red Hat)과 협력해 엔터프라이즈급 쿠버네티스(Kubernetes) 컨테이너 오케스트레이션(orchestration) 플랫폼인 오픈시프트(Openshift)와 엔비디아 엣지 스택(NVIDIA Edge Stack)을 통합하고 최적화했습니다.
엔비디아 엣지 스택은 엔비디아 드라이버, 쿠다 쿠버네티스 플러그인(CUDA® Kubernetes plugin), 쿠다 컨테이너 런타임(CUDA container runtime), 쿠다-X 라이브러리(CUDA-X™ libraries), 텐서RT(TensorRT™), 텐서RT 인퍼런스 서버(TensorRT Inference Server)와 딥스트림(DeepStream)을 포함한 컨테이너형 AI 프레임워크와 애플리케이션을 포함한 소프트웨어에 최적화돼 있습니다. 엔비디아 엣지 스택은 엔비디아 NGC 레지스트리(NVIDIA NGC™ registry)에서 다운받을 수 있습니다.
레드햇 최고기술책임자(CTO)인 크리스 라잇(Chris Wright)은 “레드햇은 하이브리드 클라우드에서부터 엣지에 이르는 모든 워크로드, 풋프린트(footprint), 로케이션(location)에서 일관된 경험을 제공하기 위해 노력하고 있습니다. 레드햇 오픈시프트와 엔비디아 EGX 지원 플랫폼을 결합함으로써 고객은 고성능의 컨테이너 중심 환경에서 분산 운영을 더욱 최적화할 수 있게 됐습니다”라고 말했습니다.
최첨단의 AI 인프라를 신속하고 구축 가능
엔비디아 EGX는 엔비디아의 모든 AI 컴퓨팅 기술, 그리고 레드햇 오픈시프트와 엔비디아 엣지 스택을 멜라녹스(Mellanox)와 시스코(Cisco)의 보안, 네트워킹 및 스토리지 기술과 결합합니다. 이를 통해 통신, 제조, 소매, 헬스케어, 운송 등을 포함한 주요 산업분야 기업들은 최첨단의 엔터프라이즈급 AI 인프라를 신속하고 안전하게 구축할 수 있죠.
멜라녹스의 최고기술책임자(CTO)인 마이클 케이건(Michael Kagan)은 “멜라녹스 스마트 NIC와 스위치는 엣지에서 하이퍼스케일 데이터센터까지 확장되는 데이터 액세스를 위한 이상적인 I/O 연결을 제공합니다. 고성능, 낮은 지연시간 및 가속화된 네트워킹의 조합은 엔비디아 EGS와 같은 엣지 플랫폼 상에서 차세대 AI 솔루션을 구현하는데 필요한 데이터에 효과적으로 액세스하고 이를 공급하는데 필수적인 새로운 인프라 티어를 제공합니다”라고 설명했습니다.
시스코 컴퓨팅 시스템 부사장인 카우스투브 다스(Kaustubh Das)는 “시스코 컴퓨트, 패브릭, 스토리지, 관리 소프트웨어는 물론 우리의 업계 선도적인 이더넷 및 IP 기반 네트워킹 기술과 EGX 지원 플랫폼을 활용해 고객을 위한 엣지 투 코어(edge-to-core) 풀 스택 솔루션을 제공할 수 있게 되어 기쁩니다”라고 말했습니다.
하이브리드 클라우드와 멀티 클라우드 IoT 지원
엔비디아 AI 컴퓨팅은 주요 클라우드 서비스에 의해 제공되며, 구조적으로 엔비디아 EGX와 호환됩니다. 클라우드에서 개발된 AI 애플리케이션은 엔비디아 EGX에서 실행될 수 있으며, 그 반대도 가능합니다. 엔비디아 엣지 스택은 주요 클라우드 IoT 서비스에 연결되며, 고객은 AWS IoT 그린그래스(AWS IoT Greengrass) 및 마이크로소프트 애저 IoT 엣지(Microsoft Azure IoT Edge)에서 원격으로 서비스를 관리할 수 있습니다.
마이크로소프트 애저 IoT 엣지 총괄 이사 샘 조지(Sam George)는 “애저 IoT 엣지는 고객들이 IoT 디바이스에 클라우드 서비스를 신속하고 안전하게 구축할 수 있도록 도와줍니다. 애저 IoT 엣지 디바이스에서 엔비디아 EGX 엣지 플랫폼을 지원함으로써, 고객들이 EGX와 호환이 가능한 하드웨어를 대상으로 AI 워크로드를 구축할 수 있게 되기를 기대합니다”라고 말했습니다.
폭넓은 개발자 지원
엔비디아 EGX는 소프트웨어 솔루션 생태계의 성장을 위해 AI를 최적화하고 있습니다.
여기에는 애니비젼(AnyVision), 딥비젼(DeepVision), 아이언윈(IronYun), 그리고 마롱 테크놀로지(Malong Technologies)와 같은 소프트웨어 공급업체의 대규모 소매 체인 및 스마트 시티에 이상적인 비디오 분석 애플리케이션과 12 시그마(12 Sigma), 인퍼비젼(Infervision), 쿠나팁(Qunatib), 서틀 메디컬(Subtle Medical) 등의 의료 관련 소프트웨어 제품이 포함됩니다.
세계 정상급 컴퓨터 제조업체들이 선택한 제품
EGX 서버는 글로벌 엔터프라이즈 컴퓨팅 공급업체 아토스(ATOS), 시스코, 델 EMC(Dell EMC), 후지쯔(Fujitsu), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 인스퍼(Inspur), 레노버(Lenovo) 등에서 제공됩니다. 주요 서버와 IoT 시스템 제조업체인 아바코(Abaco), 에이서(Acer), 에이디링크(ADLINK), 어드밴텍(Advantech), 애즈락 랙(ASRock Rack), 에이수스(ASUS), 에버미디어(AverMedia), 클라우디안(Cloudian), 커넥트 텍(Connect Tech), 커티스 라이트(Curtiss-Wright), 기가바이트(GIGABYTE), 리탑(Leetop), 미비(MiiVii), 무사시 세이미츠(Musashi Seimitsu), QCT, 수곤(Sugon), 슈퍼마이크로(Supermicro), 타이안(Tyan), 와이베이스(WiBase), 위윈(Wiwynn) 등도 EGX 서버를 지원합니다.
엔비디아 EGX 서버는 엔비디아 엣지 스택과 쿠다 가속 컨테이너를 위해 검증된 NGC-레디(NGC-Ready)에 최적화되어 있습니다.
40개 넘는 기업과 기관에서 엔비디아 EGX 서버 지원
업계를 선도하는 40개 이상의 기업과 기관들이 엔비디아 EGX 서버를 사용하고 있습니다.
이 중 BMW 그룹 로지스틱스(BMW Group Logistics)는 엔비디아의 EGX 엣지 컴퓨팅과 아이작(Isaac) 로봇 플랫폼을 통해 AI를 물류 프로세스에 직접적으로 활용하며, 점점 복잡해지는 물류를 실시간으로, 그리고 효율적으로 처리할 수 있었죠.
EGX를 채택하고 있는 다른 업계 선도기업과 기관은 다음과 같습니다.
“폭스콘 PC(Foxconn PC)의 생산 라인은 현재 각 부품을 수동으로 검사하는 데 4초가 소요돼 시간의 제약을 받습니다. 우리의 목표는 엔비디아 EGX 플랫폼을 사용하여 PC 생산 라인의 처리량을 40% 이상 증가시켜 실시간으로 아주 정밀하게 현명한 의사결정을 내리는 것입니다. 우리의 모델은 엔비디아 GPU에서 실행되는 빠른 신경망을 이용해 16개의 결함 유형과 로케이션을 동시에 감지하고 분류해 초인적인 처리 속도로 98%의 정확도를 달성합니다.”
— 마크 치엔(Mark Chien), 폭스콘 D(Foxconn D) 그룹 총괄 매니저
“AI는 정밀 의학에서 매우 중요하며, 클라우드 상에서부터 의료기기에서까지 폭넓게 사용될 수 있어야 합니다. 엔비디아의 EGX를 통해 GE 헬스케어(GE Healthcare)는 신속한 MR 획득 시간을 제공하고, 영상 품질을 향상시키며, 엔비디아 T4 GPU를 의료기기에 직접 내장함으로써 변동성을 줄일 수 있으며, 이 모든 것을 통해 환자 상태의 개선이라는 우리의 궁극적 목표에 가까워질 수 있습니다. 실시간과 중환자실에서의 이용 사례는 AI의 직접 활용도를 높여야 할 필요성을 보여줍니다. 이것이 우리가 에디슨 인텔리전스 오퍼링(Edison intelligence offering)을 만들고, 엔비디아와 제휴해 AI를 우리의 의료기기와 에디슨 엣지 어플라이언스(Edison edge appliances)에 접목하고, AI 사용을 확산시키기 위해 ACR AI 랩(ACR AI-LAB)과 협력하고 있는 이유입니다.”
— 제이슨 폴진(Jason Polzin) 박사, GE 헬스케어(GE Healthcare) MR 애플리케이션 총괄 관리자
“병원에서는 환자 발생을 예측하고 임상 의사결정을 보다 효율적으로 운영하고 지원하기 위해 AI를 점차 더 많이 사용하고 있습니다. 그러나 이러한 AI 애플리케이션은 환자 데이터에 의존합니다. 엔비디아의 EGX AI 엣지 컴퓨팅 플랫폼은 병원들에게 환자 데이터를 안전하게 유지하고 실시간 AI를 제공하며, 환자 치료를 개선하고 치료 비용을 줄이는 데 필요한 수천 개의 AI 애플리케이션으로 확장할 수 있는 쉬운 AI 인프라를 제공합니다.”
— 키스 드레이어(Keith Dreyer), 의학/과학 이중 박사, 파트너스 헬스케어(Partners Healthcare) 최고 데이터 과학 책임자 및 하버드 의대 방사선학과 부교수
“씨게이트(Seagate)는 하드디스크 읽기 및 쓰기 헤드의 품질을 검사하기 위해 제조 공장에 지능형 최첨단 GPU 기반 비전 솔루션을 구축했습니다. 엔비디아 EGX 플랫폼은 정밀한 추론을 극적으로 가속화하여, 과거에 인간의 눈으로 발견할 수 없었던 미묘한 결함들을 찾도록 해줍니다. 우리는 효율성 향상과 품질개선을 통해 제조 처리량을 최대 10% 향상하고 최대 300%의 ROI를 실현할 수 있을 것으로 기대합니다.”
— 브루스 킹(Bruce King), 씨게이트 테크놀로지(Seagate Technology) 수석 데이터 과학자