엣지 컴퓨팅과 도넛 사이에는 공통점이 하나 있습니다. 소비자와 가까이 있을수록 더 좋다는 것인데요. 동네 도넛 가게에 가는 건 시간이 걸리는 일이겠지만, 손 닿는 거리에 도넛이 있다면 당장에 만족감을 느낄 수 있죠.
엣지 컴퓨팅도 마찬가지입니다. 클라우드에서 실행 중인 AI 애플리케이션에 데이터를 전송해 결과를 얻기까지는 시간이 걸립니다. 이 데이터를 엣지의 기기에서 처리하면 무지갯빛 토핑이 뿌려진 글레이즈 도넛을 분홍색 상자에서 곧바로 집어먹는 것이나 다름없습니다.
‘엣지 컴퓨팅(edge computing)’이라는 용어가 등장한 것은 이미 수십년 전의 일입니다. AI 소프트웨어를 장착한 프로세서를 활용해 데이터를 소스와 최대한 가까운 곳에서 수집⋅처리한다는 개념입니다. 데이터를 클라우드나 데이터센터가 아닌 로컬, 즉 네트워크의 “엣지”에서 처리하므로 지연시간(레이턴시)과 대역폭 요구사항이 최소화됩니다. 덕분에 오토노머스 머신들이 피드백 제공과 의사 결정을 실시간으로 진행할 수 있습니다.
이 프로세서들은 지능형 센서 형태로 사물인터넷(IoT) 기기에 내장됩니다. 공장의 중장비에도 탑재가 가능합니다. 각 기계의 데이터를 처리하는 한편 오작동이 사고로 이어질 가능성이 있을 시 관리자에게 경고를 보내기도 합니다.
이 센서 근방에 엣지 서버를 배치합니다. 매장, 병원, 창고 내부에 서버실이나 서버 클로젯(closet)을 마련하는 방식이죠.
엣지 컴퓨팅이 제공하는 상시적이고 즉각적인 피드백은 자율주행 차량 등의 애플리케이션에 특히 중요합니다. 데이터 처리와 반응 시간을 고작 몇 밀리초 절감하는 것만으로도 사고를 모면할 수 있기 때문인데요. 엣지에서의 즉각적인 피드백은 정확한 치료용 데이터가 실시간으로 공유되어야 하는 병원에서도 아주 중요합니다.
이제 엣지 컴퓨팅은 없는 곳이 없습니다. 소매점의 셀프 계산대에서 창고의 공급망 관리, 품질 검사에 이르기까지 모든 영역에 활용되고 있죠.
엣지 컴퓨팅이 필요한 이유
2025년에 이르면 1,500억 개에 달하는 기계 센서와 IoT 기기들이 처리가 필요한 데이터를 끊임없이 스트리밍할 것이라고 합니다. 이 센서들은 작동을 절대 멈추지 않습니다. 모니터링과 데이터 수집, 감지 내용 추론과 조치의 실행까지, 쉴 틈이 없죠.
엣지 컴퓨팅은 이 데이터를 소스에서 처리해 지연시간을 단축합니다. 추가 처리용 데이터가 네트워크에서 클라우드 또는 중앙 데이터센터로 전송되기까지 기다릴 필요가 없어 인사이트를 실시간으로, 더 신속히 확보할 수 있습니다.
효과적이고 신속한 데이터 수집과 분석을 요하는 연산집약적 워크로드에 활용되는 데이터가 폭증하면서 AI 구현을 위한 고성능 엣지 컴퓨팅의 필요성도 늘고 있습니다.
새롭게 떠오르는 테크놀로지들도 AI 기반 서비스의 증가를 촉진합니다. 특히 5G 네트워크가 기존의 4G 대비 10배 이상 빠른 성능을 제공할 것으로 기대를 모으는 가운데 엣지 컴퓨팅의 가속화 또한 절실해지고 있습니다.
엣지 컴퓨팅의 작동 방식
엣지 컴퓨팅은 소스 또는 사용자와 가장 근접한 곳에서 데이터를 처리하는 기술입니다. 데이터와 애플리케이션, 컴퓨팅 파워를 중앙집중식 네트워크 또는 데이터센터에서 분산시키는 전략이죠.
집중 서버 역할을 하는 데이터센터는 지가와 전력사용료가 저렴한 곳에 구축되는 경우가 많습니다. 속도가 가장 빠르다는 광섬유 네트워크에서조차 데이터가 광속보다 빨리 이동할 수는 없습니다. 데이터와 데이터센터 간 물리적 거리가 곧 지연시간으로 이어지죠. 엣지 또는 데이터소스와 더 근접한 곳에서 데이터를 처리하면 지연시간 관련 문제를 줄일 수 있습니다.
엣지 컴퓨팅은 다중의 네트워크 노드에서 실행되며 데이터가 수집되는 곳과 처리되는 곳의 거리를 좁힙니다. 이를 통해 병목현상 절감과 애플리케이션 가속화를 달성할 수 있습니다.
네트워크의 주변부에서는 동영상 등 기본 애플리케이션에 적합한 IoT와 모바일 기기 수십억 개가 소형 임베디드 프로세서상에서 작동합니다.
이 정도로도 충분했을 것입니다. 세계 전역의 산업과 지방당국들이 IoT 기기의 데이터에 AI를 적용하지 않는다면 말이죠. 하지만 현실은 그렇지 않습니다.
엣지 AI를 이용하면 인터넷이 상시 연결되어 있을 필요가 없습니다. 인터넷 연결이 없이도 기기가 자체적으로 데이터를 처리하고 필요한 결정을 내릴 수 있으니까요.
예를 들어 로봇용 엣지 AI 애플리케이션은 로봇에 내장된 마이크로프로세서로 구동되며 데이터를 실시간으로 처리해 얻은 결과를 장치에 로컬로 저장합니다. 로봇은 일정 간격을 두고 인터넷에 접속해 보관용 또는 추가 처리용 데이터를 클라우드로 전송하게 되죠. 로봇이 구동되는 곳이 엣지가 아니었다면 데이터를 클라우드에 쉴 새 없이 스트리밍하느라 배터리가 혹사당하고 데이터 처리에는 더 긴 시간이 걸리며 인터넷 연결도 지속적으로 필요했을 것입니다.
엣지 컴퓨팅의 이점
엣지 컴퓨팅으로의 전환을 맞이한 기업들은 자사의 대규모 데이터세트에서 인사이트를 확보할 새로운 기회를 얻게 되었습니다. 엣지 컴퓨팅의 주요 이점 네 가지를 정리하면 다음과 같습니다.
- 지연시간 감소: 중앙의 데이터센터나 클라우드에서 데이터 수집과 업로드를 수행하는 대신 데이터가 생성되는 곳에서 AI 컴퓨팅을 진행하면 지연시간을 줄일 수 있습니다.
- 보안 강화: 엣지 컴퓨팅은 데이터를 로컬에서 처리하므로 민감한 데이터를 공공 클라우드로 전송할 필요가 감소합니다.
- 비용 절감: 데이터 생성량이 늘면 대역폭과 데이터 스토리지 비용이 증가합니다. 엣지 컴퓨팅을 통해 데이터를 로컬로 처리한다는 말은 클라우드로 보내야 할 데이터가 줄어든다는 의미이기도 합니다.
- 범위 확장: 전통적인 클라우드 컴퓨팅에서는 인터넷 액세스가 필수입니다. 그러나 엣지 컴퓨팅은 인터넷 연결이 없이도 데이터를 처리할 수 있어 기존에는 접근이 어려웠던 원격지로까지 활용 범위가 확장됩니다.
엣지 컴퓨팅 vs. 클라우드 컴퓨팅 vs. 포그 컴퓨팅
엣지와 클라우드, 포그 컴퓨팅은 컴퓨팅 파워의 강화 사례로 자주 언급되고 또 함께 사용되기도 합니다. 하지만 이들 사이에는 뚜렷한 차이가 있습니다.
- 클라우드 컴퓨팅은 인터넷상의 원격 서버들로 구성된 네트워크를 활용합니다.
- 엣지 컴퓨팅은 단말 기기 또는 서버를 활용합니다.
- 포그(Fog) 컴퓨팅은 네트워크 아키텍처의 로컬 영역 네트워크(LAN)를 활용합니다.
최근 몇 년간 클라우드 컴퓨팅은 용량과 탄력성, 물리적 하드웨어 없이도 데이터를 저장⋅처리할 수 있는 능력 덕분에 선호도가 높은 처리 기법으로 손꼽혔습니다.
하지만 클라우드는 데이터 전송 속도와 인터넷 대역폭이라는 한계를 가지고 있습니다. 자사 제품에 AI를 접목하는 기업이 늘면서 더 신속하고 신뢰할 만한 데이터 처리가 강조되고 있으며 이는 클라우드 컴퓨팅의 네트워킹 대역폭에 부담으로 작용합니다.
이 부담을 완화하고자 여러 IoT 기기들에 엣지 컴퓨팅을 통합하여 데이터 처리와 반응 시간의 가속화를 달성해 왔습니다.
포그 컴퓨팅은 엣지 컴퓨팅과 유사합니다. 차이점은 엣지 컴퓨팅이 네트워크의 말단에서 데이터를 처리하는 반면 포그 컴퓨팅은 장치의 로컬 영역 네트워크에서 데이터를 처리한다는 것입니다. 포그 컴퓨팅은 엣지 컴퓨팅에 비해 더 많은 데이터를 처리한다는 강점이 있지만 네트워크 내에서 물리적으로 연결된 기기들에 국한된다는 한계가 있습니다.
IoT와 5G, 그리고 엣지 컴퓨팅
엣지 컴퓨팅은 5G 네트워크와 IoT 애플리케이션 등의 테크놀로지 발전에 중대한 역할을 수행합니다.
엣지와 IoT
IoT 기기들이 내놓는 데이터의 홍수 속에서 기업들은 엣지에서의 데이터 처리가 주는 재정상⋅운영상 이익에 눈을 뜨게 되었습니다. IoT 기기와 센서들은 엣지 컴퓨팅을 활용해 지연시간을 줄이는 한편 데이터 스토리지와 프로세싱의 비용 부담이 큰 클라우드에의 의존도도 낮출 수 있습니다.
일례로 지능형 동영상 분석용 플랫폼인 NVIDIA Metropolis를 사용하면 수조 개의 센서와 IoT 기기가 생성하는 데이터를 실시간으로 분석할 수 있습니다. 이를 통해 얻는 실행 가능한 인사이트로 이상 탐지와 재난 대응 등의 공공 서비스, 물류를 위한 공급 예측, 사고 감지와 신호등 최적화를 비롯한 교통 흐름 관리용 애플리케이션들을 개선할 수 있습니다.
효과적인 재난 대응의 핵심은 적시 대처입니다. NVIDIA Metropolis와 같은 엣지 플랫폼을 도입하면 초동 대응에 필요한 인력, 차량, 장비의 위치 관련 데이터를 즉각적이고 지속적으로 제공받을 수 있어 시민 안전 보장에 도움이 됩니다. 또한 셀룰러 네트워크나 인터넷 연결을 통하지 않고 IoT 센서와 기기에서 데이터를 수집하는 엣지 컴퓨팅의 구현으로 보다 확실하고 효과적인 재난 대응 플랜을 수립하여 인명 보호의 가능성을 높일 수 있습니다.
엣지와 5G
5G 인프라의 구축과 함께 엣지에서 생성되는 데이터의 양이 기하급수적으로 증가하면서 새로운 형태의 애플리케이션들이 등장하고 있습니다.
대규모 데이터에서 인사이트를 추출하고자 AI를 활용하는 사례가 늘고 있는데요. 이 애플리케이션들은 5G의 빠른 대역폭, 저지연, 신뢰성에 의존해 데이터에 접근하게 됩니다.
5G의 출시와 함께 엣지에서의 AI 워크로드를 지원하고 실시간 분석을 보장할 서비스들이 광범위하게 등장하고 있습니다. 카메라와 센서로 원격 관리하는 장비와 기계에서부터 카메라를 활용해 사이트 보안과 운영 안전성을 개선하는 서비스까지 아주 다양하죠. 이 서비스들이 여러 형태로 지원하는 수십억 기기들은 제타바이트 수준의 데이터들을 집단적으로 소비⋅생성할 것입니다.
이 같은 테크놀로지 혁신의 핵심이 바로 엣지 컴퓨팅입니다. 엣지 컴퓨팅은 5G 작동에 필요한 지연시간 요건을 충족하는 유일한 방법이기도 합니다. 또한 5G와 같은 멀티 테넌트(multi-tenant) 5G 엣지 노드들의 안전하고 효율적인 가상화에도 도움이 됩니다.
엣지 컴퓨팅의 네 가지 사례
엣지 컴퓨팅은 지연시간 단축과 더불어 더 만족스럽고 원활한 사용자 경험을 제공합니다. 여러 업계에서의 엣지 컴퓨팅 응용 사례를 소개합니다.
유통업과 엣지 컴퓨팅
세계 최대 유통업체들은 엣지 AI를 도입하여 스마트 리테일 기업으로의 도약을 꾀하고 있습니다. 지능형 동영상 분석, AI 기반 재고 관리, 고객과 매장 분석을 통해 이윤 증대와 고객 경험 개선 기회를 마련할 수 있습니다.
가령 NVIDIA EGX 플랫폼을 사용하는 월마트는 초당 1.6TB 이상 생성되는 데이터를 실시간으로 연산할 수 있습니다. AI는 다른 여러 용도로도 활용됩니다. 매장 재고 보충, 쇼핑 카트 회수, 계산대 추가 개방 등이 필요할 때 직원에게 자동 알림을 보낼 수도 있죠.
NVIDIA EGX가 현장에서 처리한 AI 이미지 인식 모델을 수백 대에 달하는 커넥티드 카메라가 피드할 수 있습니다. 한편 원격지의 소규모 동영상 피드 네트워크는 Jetson Nano가 EGX와 클라우드의 NVIDIA AI를 연결해 처리합니다.
매대 관리는 로봇들이 담당합니다. Jetson AGX Xavier로 구동되고 SLAM 내비게이션용 NVIDIA Isaac을 장착한 이 대화형 AI 로봇들은 완전 자율주행이 가능합니다. 활용 제품 일체는 클라우드상의 EGX 또는 NVIDIA AI와 호환됩니다.
엣지에서 구동되는 NVIDIA T4와 Jetson GPU는 애플리케이션 종류와 무관하게 지능형 동영상 분석과 머신 러닝 애플리케이션의 강력한 조합을 제공합니다.
통신사들은 엣지 AI로 차세대 고객 서비스를 개발하고 새로운 수익원을 창출할 수 있습니다.
NVIDIA EGX와 이미지 인식 모델을 사용해 동영상 피드를 분석하면 유동 인구 파악에서부터 매장 재고 관리, 배송 모니터링까지 다양한 업무를 지원할 수 있습니다.
예를 들어, 토요일 아침 일찍 세븐일레븐에 도넛이 떨어졌다면 매장 관리자에게 재고 보충 알림을 보낼 수도 있을 것입니다.
도시와 엣지 컴퓨팅
미국 포춘지(Fortune) 선정 500대 기업과 스타트업들이 지역 발전을 위해 엣지 AI를 도입하고 있습니다. AI 애플리케이션을 개발해 교통 체증을 해소하고 안전성을 제고하는 경우를 예로 들 수 있죠.
미국 최대 이동통신사 버라이즌(Verizon)은 IoT 애플리케이션 프레임워크인 NVIDIA Metropolis를 사용합니다. NVIDIA Metropolis와 Jetson의 딥 러닝 성능이 결합하여 다수의 동영상 데이터 스트림을 분석하고 교통 흐름 개선, 보행자 안전 강화, 도심 주차 최적화 방안 등을 모색합니다.
캐나다 온타리오 소재 스타트업 미오비전 테크놀로지(Miovision Technologies)는 자체 카메라와 도시 인프라로 얻은 데이터를 심층 신경망으로 분석해 신호등을 최적화하고 교통량을 관리합니다.
미오비전을 비롯한 테크놀로지 기업들은 NVIDIA Jetson 슈퍼컴퓨팅 모듈과 NVIDIA Metropolis로 얻은 인사이트를 결합한 엣지 컴퓨팅으로 자사 업무를 가속화합니다. 에너지 효율이 높은 Jetson은 AI 프로세싱에 필요한 다중 영상 피드도 동시에 처리할 수 있죠. 이런 기능들이 더해져 네트워크 병목현상과 트래픽 정체를 막아줍니다.
엣지 컴퓨팅은 확장성 또한 갖추고 있습니다. NVIDIA Metropolis 같은 산업용 애플리케이션 프레임워크와 타사의 AI 애플리케이션을 NVIDIA EGX platform과 함께 구동해 최적의 성능을 구현할 수 있습니다.
자동차 제조사 및 제조업과 엣지 컴퓨팅
공장과 유통업체, 제조업체, 자동차 제조사들은 상호 참조가 가능한 센서 데이터를 생성해 서비스 개선에 활용하고 있습니다.
이러한 센서 퓨전(sensor fusion)이 유통업계에 새로운 서비스들을 창출할 것입니다. 이제 대화용 로봇들은 음성과 자연어 처리 모델에 더해 동영상 피드로 구동하는 자세추정 모델(pose estimation)도 활용할 수 있습니다. 음성과 몸짓의 센서 정보를 연결하면 고객들이 원하는 제품이나 이동 방향을 보다 정확히 이해하는 데 도움이 됩니다.
자동차 제조사들도 센서 퓨전의 도입으로 새로운 사용자 경험을 제공하고 경쟁에서 우위를 점할 수 있습니다. GPS 지도상의 식당 위치 검색 요청을 이해하는 자연어 모델과 자세추정 모델을 결합하여 운전자가 찾고 있는 위치를 파악하는 것도 가능합니다.
게이밍과 엣지 컴퓨팅
게이머들은 고성능, 저지연의 컴퓨팅 성능을 요구하는 것으로 악명이 높습니다. 엣지에서 구현되는 고품질 클라우드 게이밍 덕분에 그 기준이 더욱 높아졌죠. 가상현실, 증강현실, AI가 활용되는 차세대 게이밍 애플리케이션에는 그보다도 월등한 성능이 요구됩니다.
통신사들은 레이 트레이싱과 AI를 활용해 영화 같은 품질의 그래픽을 구현하는 NVIDIA RTX 서버로 전 세계 게이머들과 만나고 있습니다. 이 서버들이 NVIDIA의 클라우드 게이밍 서비스인 GeForce NOW를 구동합니다. 엣지의 GeForce NOW는 낮은 성능의 비호환 하드웨어를 강력한 GeForce 게이밍 PC로 변신시킵니다.
대만의 타이완 모바일(Taiwan Mobile), 한국의 LG U+, 일본의 소프트뱅크, 러시아의 로스텔레콤(Rostelecom) 등의 통신사들은 자사 클라우드 게이밍 이용 고객에게 GeForce NOW를 출시하겠다는 계획을 발표한 바 있습니다.
NVIDIA의 엣지 솔루션
NVIDIA EGX 플랫폼은 엣지 컴퓨팅의 차원을 한 단계 높였습니다. 이를 통해 기업들은 확장 가능한 소프트웨어, IoT 센서, 엣지 서버를 아우르는 엣지 솔루션을 보다 원활히 도입할 수 있게 되었죠.
여러 랙(rack)의 CPU를 사용하는 기존의 엣지 서버보다 풋프린트(footprint, 차지하는 공간)가 작은 NVIDIA EGX는 젯슨 슈퍼컴퓨팅 모듈 제품군에서 NVIDIA T4 GPU가 탑재된 서버들, 그리고 NVIDIA EGX A100에 이르기까지NVIDIA AI 전반과 호환됩니다.
AI용 엣지 컴퓨팅을 도입한 기업들은 NVIDIA Jetson Nano에 저지연 AI 애플리케이션을 배포하는 유연성을 보여줍니다. 초소형 슈퍼컴퓨터 Jetson Nano는 이미지 인식 등 초당 5,000억 개의 업무를 수행하는 데 단 몇 와트의 전력밖에 사용하지 않습니다.
NVIDIA T4 서버 랙 1개는 초당 10,000조가 넘는 작업을 수행할 수 있어 가장 까다로운 실시간 음성 인식 알고리즘과 연산 부담이 큰 AI 업무들에 적합합니다.
NVIDIA EGX는 엣지 애플리케이션의 원격 배포와 관리를 지원합니다. 또한 NVIDIA NGC 소프트웨어 허브를 사용하면 사전 훈련을 거친 다양한 AI 모델과 쿠버네티스 헬름 차트(Helm chart)로 자체 엣지 AI 솔루션의 구축에 신속히 돌입할 수 있습니다.
AI 기반 엣지 네트워크 주변부에서의 업데이트도 간단합니다. EGX 소프트웨어 스택은 리눅스(Linux)와 쿠버네티스(Kubernetes)에서 구동되며 클라우드나 엣지 서버로부터의 원격 업데이트가 가능해 애플리케이션 성능을 지속적으로 개선할 수 있습니다.
NVIDIA EGX 서버는 NGC에서 사용할 수 있는 쿠다 가속화 컨테이너에 최적화되어 있습니다.
엣지 컴퓨팅의 미래
시장조사 업체 IDC에 따르면 2023년에 엣지 컴퓨팅 시장 규모는 340억 달러를 기록할 전망입니다. 5G의 등장과 함께 중앙식 데이터센터 컴퓨팅에서 엣지 컴퓨팅으로 대전환이 일어나면서 전에는 불가능했던 새로운 가능성들이 열릴 것입니다.
영상 분석에서 자율주행 자동차, 게이밍에 이르기까지 엣지 컴퓨팅은 저지연과 연결성 요건을 모두 충족하면서 높은 몰입감의 실시간 경험을 제공할 기회들을 더 많이 만들어가고 있습니다.
엣지 컴퓨팅의 현장 적용과 관련한 더 자세한 내용은 여기를 확인하세요.
이 모든 기능 등은 EGX, 또는 클라우드 상의 엔비디아 AI와 호환됩니다.