엣지 컴퓨팅은 무엇일까요?

엣지 컴퓨팅은 누구나 좋아하는 맛있는 도넛처럼 소비자에게 가까이 있을수록 좋습니다
by NVIDIA Korea

엣지 컴퓨팅과 도넛은 공통점이 있습니다. 소비자 가까이 있을수록 좋다는 점입니다.

집 근처 도넛 가게에 가는 건 시간이 좀 걸릴 수 있지만, 책상 위 손만 뻗으면 닿는 곳에 도넛이 있다면 즉각적인 만족감을 느낄 수 있을 있죠.

엣지 컴퓨팅도 마찬가지입니다. 클라우드에서 구동되는 AI 애플리케이션에 데이터를 전송하면 반응을 얻기까지 시간이 꽤 걸립니다. 하지만 사용자 가까이에 있는 엣지 서버에 데이터를 전송하면 무지개색 토핑이 뿌려진 글레이즈 도넛이 담긴 핑크색 박스에서 바로 도넛을 집어먹는 것과 같답니다.

지금 입고 있는 옷 주머니 속에서 엣지 컴퓨팅이 뭔지 살짝 경험해볼 수도 있을 겁니다. 최신 스마트폰들은 통신 네트워크의 ‘엣지’에서 작동하고 있으며, 전보다 스마트한 음성 응답과 좀 더 멋진 사진을 처리합니다.

‘엣지 컴퓨팅’이라는 용어는 수십년 전에 만들어진 용어로, 데이터를 소스에서 최대한 가까운 곳에서 수집하고 처리하는 개념입니다.

엣지 컴퓨팅은 기가바이트에서 테라바이트의 스트리밍 데이터가 수집되는 지점에서 프로세서를 적용해야 합니다. 자율주행 자동차, 공장 현장에 설치된 로봇, 병원의 의료용 영상기기, 리테일 업계의 계산대용 카메라 애플리케이션들이 엣지 컴퓨팅에 의존하고 있습니다.

2025년 까지, 약 1,500억 개의 기계 센서와 IoT 장치들이 연속적으로 데이터를 스트리밍하고 처리해야 할 것으로 예상됩니다.

기존 4G대비 10배 이상 빠른 속도를 자랑하는 5G 네트워크는 AI 서비스의 가능성을 더욱 높여줄 것이고, 이에 맞춰 엣지 컴퓨팅 속도도 더 빨라져야 하죠.

스마트폰에서 스마트 에브리싱(Smart Everything)까지

최신 구글, 애플, 삼성 스마트폰들은 사용자의 질문을 보다 잘 해석하고, 컴퓨터 사진(computational photography)으로 사진을 밀리초 내에 보정할 수 있는 고도의 AI 프로세싱 성능을 탑재하고 있습니다.

그러나 IoT 장치에서 스트리밍된 방대한 데이터는 스마트폰을 사용자들이 생성하는 데이터 양과는 비교가 되지 않을 정도로 많습니다.

커넥티드 카, 로봇, 드론, 모바일 장치, IoT용 카메라와 센서, 그리고 의료용 영상기기가 대거 등장함에 따라 엣지 컴퓨팅의 수요도 함께 높아졌습니다. 연산집약적인 업무에 사용되는 데이터 양이 급증하면서 AI 기술을 구현할 수 있는 고성능 엣지 컴퓨팅의 필요성도 덩달아 높아지고 있는거죠.

빠른 속도의 AI 컴퓨팅을 구현하려면, 원격 서버에서 데이터 처리를 위해 데이터를 주고받을 때 지연시간과 대역폭 문제를 최소화 할 수 있는 엣지 컴퓨팅이 필요합니다.

엣지 컴퓨팅 작동 방식

데이터 센서는 중앙집중식 서버로 부동산 비용도 낮고 전력비용도 비교적 저렴한 지역에 구축되는 경우가 많습니다. 속도가 빠른것으로 알려진 광섬유 네트워크에서도 데이터가 광속보다 빠르게 이동할 수는 없습니다. 데이터와 데이터 센터 간 물리적인 거리가 멀면 지연시간이 길어질 수밖에 없죠.

하지만 엣지 컴퓨팅으로 그 지연시간을 줄일 수 있습니다.

EGX_Opportunity_Diagram

엣지 컴퓨팅은 여러 개의 네트워크 노드에서 실행될 수 있어, 데이터와 프로세싱 간 물리적 거리를 좁혀줘 병목현상을 줄이고 애플리케이션 속도를 가속화합니다.

네트워크 주변에는 동영상과 같은 기본 애플리케이션에 적합한 수십억 개의 IoT와 모바일 기기가 소형 임베디드 프로세서 상에서 작동합니다.

전 세계 많은 산업과 지방자치단체에서 IoT 장치의 데이터에 AI를 적용하고 있지 않다면 아무 문제가 없었을 것입니다. 하지만 현실은 그렇지 않고 세계 다수의 산업과 지방자치단체들이 연산집약적인 모델들을 개발·운영하고 있습니다. 이를 구현하기 위해서는 기존의 엣지 컴퓨팅이 아닌 새로운 접근방식이 필요한 상황입니다.

도시를 위한 엣지 컴퓨팅이란?

미국 포춘지(Fortune)가 선정한 글로벌 500대 기업들과 스타트업들은 지자체를 위해 엣지에 AI기술을 도입하고 있습니다. 예를 들면, 도시의 교통체증을 해소하고 안전성을 제고하기 위해 AI 애플리케이션을 개발하는 겁니다.

미국 최대 이동통신사 버라이즌(Verizon)은 IoT 애플리케이션 프레임워크엔비디아 메트로폴리스(Metropolis)를 사용하고 있습니다. 엔비디아 메트로폴리스와 임베디드 장치에 최적화된 컴퓨팅 플랫폼 엔비디아 젯슨(Jetson)의 딥 러닝 성능을 결합하면 여러 동영상 데이터 스트림을 분석해 트래픽 흐름 개선, 보행자 안전 강화, 도심 주차 최적화 방안 등을 모색할 수 있습니다.

캐나다 온타리오주의 스타트업 미오비전 테크놀로지(Miovision Technologies)는 자사 카메라와 도심 인프라 카메라를 통해 얻은 데이터를 딥 뉴럴 네트워크로 분석해 신호등을 최적화하고 교통량을 관리합니다.

미오비전을 비롯한 AI분야 기업들은 엔비디아 젯슨 소형 슈퍼컴퓨팅 모듈과 엔비디아 메트로폴리스의 통찰력을 결합한 엣지 컴퓨팅으로 자사 업무를 가속화 할 수 있습니다. 에너지 효율성이 높은 젯슨은 동시에 여러 영상피드를 처리해 AI 프로세싱에 이용할 수 있습니다. 이런 기능들을 통해 네트워크 병목현상이나 트래픽 정체를 막을 수 있죠.

엣지 컴퓨팅은 확장 가능한 기술이기도 합니다. 엔비디아 EGX 플랫폼에서 엔비디아 메트로폴리스와 같은 산업용 애플리케이션 프레임워크나 타사의 AI 애플리케이션을 작동해도 최적의 성능을 구현할 수 있습니다.

AI 에지 컴퓨팅의 장점

AI 엣지 컴퓨팅은 많은 장점을 갖고 있습니다. 스마트 리테일, 의료보건, 제조, 운송, 스마트 시티 등 데이터가 생성되는 곳에 AI 컴퓨팅을 제공합니다.

컴퓨팅 환경의 변화는 기업들에게 새로운 서비스 기회를 창출하고 사업 효율성을 제고하며 비용절감효과도 줄 수 있습니다.

CPU 랙이 필요한 기존 엣지 서버 대신에, 보다 가벼운 발자국을 남기는 엔비디아 EGX 플랫폼은 젯슨 슈퍼컴퓨팅 모듈 라인에서 엔비디아 T4서버 전체 랙에 이르는 엔비디아 AI 전반에 호환성을 제공합니다.

AI 엣지 컴퓨팅 사업을 하는 기업들은 소형 AI 컴퓨터 엔비디아 젯슨 나노 (Jetson Nano)에서 저지연 AI 애플리케이션을 유연하게 실행할 수 있습니다. 이 소형 슈퍼컴퓨터로 이미지 인식 등 초당 5,000억 개의 업무를 수행하는데 단 몇 와트밖에 사용되지 않습니다.

엔비디아 T4 서버 랙은 고도의 컴퓨팅 성능이 요구되는 실시간 음성 인식과 AI 업무에 초당 10,000조의 작업을 수행할 수 있습니다.

또, AI기반 엣지 네트워크 주변에서는 업데이트를 매우 빠르게 할 수 있습니다. EGX 소프트웨어 스택은 리눅스(Linux), 쿠버네티스(Kubernetes)에서 구동되는데, 클라우드나 엣지 서버에서 원격 업데이트가 가능해 애플리케이션을 지속적으로 개선할 수 있습니다.

엔비디아 EGX 서버는 쿠다 가속화 컨테이너(CUDA-accelerated containers)에 최적화 돼있습니다.

엔터프라이즈 엣지 컴퓨팅과 AI 서비스

세계 최대 유통업체들은 엣지 AI를 도입해 스마트 리테일 기업으로 거듭나려는 시도를 하고 있습니다. 지능형 영상 분석, AI 기반 재고관리, 고객과 매장 분석 등을 통해 기업들은 이윤을 높이고 더 나은 고객 경험을 제공할 수 있습니다.

월마트가 엔비디아 EGX 플랫폼을 도입할 경우, 초당 생성되는 1.6TB 이상의 데이터를 실시간으로 연산할 수 있게 됩니다. AI는 매장에 물건이 부족할 경우 재고를 채워 넣거나, 카트를 회수하거나, 새로운 계산대를 여는 등 다용도로 사용될 수 있습니다.

수백 대의 카메라로 엔비디아 EGX가 현장에서 처리한 AI 이미지 인식 모델을 피드할 수 있습니다. 한편, 젯슨 나노는 EGX와 클라우드 상의 엔비디아 AI를 연결해 외딴 지역의 소규모 동영상 피드 네트워크를 처리할 수 있습니다.

이와 함께, 젯슨 AGX 자비에(Jetson AGX Xavier), SLAM 내비게이션용 엔비디아 아이작(NVIDIA Isaac)이 적용된 완전 자율주행이 가능한 대화형 AI 로봇으로 매장의 각종 코너들을 모니터링 할 수 있습니다. 이 모든 기능 등은 EGX, 또는 클라우드 상의 엔비디아 AI와 호환됩니다.

엣지에서 구동되는 엔비디아 T4과 젯슨 GPU는 애플리케이션 종류와 상관없이, 강력한 지능형 동영상 분석과 머신 러닝 애플리케이션 성능을 제공합니다.

센서 퓨전용 스마트 장치

공장, 리테일 업체, 제고업체, 자동차 제조업체들은 서비스 개선을 위해 상호 참고할 수 있는 데이터를 생성하고 있습니다.

리테일 업체들은 이와 같은 센서 퓨전(sensor fusion)으로 새로운 서비스를 창출할 수 있습니다. 로봇으로 단순히 음성이나 자연어를 처리하는 것이 아니라 대화도 할 수 있죠. 또 동일한 로봇으로 동영상 피드를 이용해 자세추정(pose estimation) 모델을 구현할 수도 있답니다. 음성과 제스처 센서 정보를 결합하면 로봇들은 고객들이 어떤 제품을 찾고 또 어떤 방향으로 이동하려는지 보다 잘 이해할 수 있습니다.

자동차 제조회사들도 센서 퓨전을 통해새로운 사용자 경험을 제공해 경쟁우위를 확보할 수 있습니다. 자세추정 모델을 적용해 운전자의 시선을 추적하고, 자연어 모델을 사용하면 GPS 지도상에서 세븐일레븐의 위치를 찾는 운전자의 요청을 이해할 수 있습니다.

손가락을 튕기고 세븐일레븐을 가리키며 “도넛을 사려고 하니 차를 세워라”라고 말하면, 자율주행차가 센서퓨전과 에지 AI를 이용해 운전자의 목적지를 추론하는 등 마치 미래에 온 듯한 운전경험을 할 수 있습니다.

게임용 엣지 컴퓨팅

게이머들은 언제나 고성능 저지연 컴퓨팅을 필요로 합니다. 엣지에서 고성능 클라우드 컴퓨팅을 하려면 더더욱 그렇습니다. 가상현실, 증강현실, AI 등이 적용된 차세대 게임 애플리케이션에는 더 높은 성능이 요구됩니다.

통신사들은 레이 트레이싱과 AI가 적용된 영화 같은 수준의 그래픽을 구현하는 엔비디아 RTX 서버를 사용해 전 세계 게이머들에게 제공하고 있습니다. 이 서버들은 엔비디아의 클라우드 게이밍 서비스 지포스 나우(GeForce NOW)을 구현합니다. 지포스 나우는 낮은 성능의 비호환 하드웨어를 엣지에서 강력한 지포스 게임 PC로 변신시켜줍니다.

대만 통신사 타이완 모바일(Taiwan Mobile), 한국의 LG U+, 일본의 소프트뱅크, 러시아의 로스텔레콤(Rostelecom) 모두 해당 서비스를 자사의 클라우드 게임 고객들에게 출시하겠다는 계획을 발표했습니다.

AI 에지 컴퓨팅 서비스란?

통신사들은 엣지 AI로 고객들을 위한 차세대 서비스를 개발해 새로운 수익원을 창출할 수 있습니다.

또 엔비디아 EGX를 이용해 이미지 인식 모델로 동영상 피드를 분석해 인파 규모에서 매장내 제품 재고, 배송 모니터링에 이르는 업무를 지원할 수 있습니다.

예를 들어, 토요일 아침 일찍 세븐일레븐에 도넛이 떨어졌을 때 매장 관리자가 도넛 진열대에 도넛을 추가로 채워 넣어야 한다는 알림을 받을 수 있을 것입니다.

그래서 미래에는 여러분이 도넛을 한 입 베어먹을수 있는 건 엣지 컴퓨팅 덕분일 수 있을 겁니다.

엔비디아 젯슨 임베디드 컴퓨팅 플랫폼, 엔비디아 EGX 플랫폼 서버, 엔비디아 테슬라 GPU 가속기(NVIDIA Tesla GPU accelerators)가 적용된 데이터 센터를 통해 엣지에서 고성능 딥 러닝 추론이 이뤄집니다.

사진 출처: Creative Commons Attribution 2.0 Generic 라이선스