2019년 USPS(U.S. Postal Services)는 1억 개가 넘는 일일 우편물의 품목을 확인하고 추적했습니다. USPS AI 설계자인 라이언 심슨(Ryan Simpson)은 내부에서 개발하던 이미지 분석 시스템을 훨씬 더 광범위하게 확장하고자 했는데요. USPS 우편물 처리센터에 전략적으로 배치된 엣지 AI 서버를 통해 각 센터가 생성하는 수십억 개의 이미지를 분석할 수 있다고 판단했죠.
데이터 사이언티스트, NVIDIA 설계자 6명 등을 포함한 작업자들이 3주 동안 딥 러닝 모델을 빠르게 설계했습니다. 이 작업을 통해 NVIDIA EGX 플랫폼으로 가동되고 있는 분산형 엣지 AI 시스템인 엣지 컴퓨팅 인프라 프로그램(ECIP)을 구축했습니다.
엣지 네트워크에 구현된 AI 플랫폼
ECIP는 마치 자동화된 눈처럼 작동하는 두 번째 애플리케이션을 구동하고 있으며, 비즈니스 요구사항에 맞게 우편물을 추적하고 있습니다. USPS 시스템을 총괄하는 HPE의 매니저인 토드 쉬멜(Todd Schimmel)은 “예전에는 8명에서 10명의 직원이 한 가지 우편물을 추적하는데 며칠이 소요됐지만, 이제 한두 명의 직원이 두 시간 정도 작업하면 완료할 수 있습니다”고 말했죠.
컴퓨터 비전 작업은 800개의 CPU가 있는 서버 네트워크로 작업시 2주가 소요됐는데요. HPE 아폴로(Apollo) 6500 서버에는 4개의 NVIDIA V100 Tensor Core GPU가 장착돼 있어서, 20분 안으로 작업 시간을 단축합니다.
오늘날 각 엣지 서버는 1,000개 이상의 메일 처리 디바이스에서 하루에 20TB 규모의 이미지를 처리하는데요. NVIDIA 오픈소스 소프트웨어인 Triton Inference Server는 필요한 상황에 맞게 195개의 엣지 시스템에 AI 모델을 제공합니다.
엣지용 차세대 애플리케이션
USPS는 추가적으로 이미징 워크플로우를 간소화하기 위해 광학적문자판독(OCR)을 사용하는 애플리케이션이 필요했습니다. 쉬멜 매니저는 “과거 OCR 사용을 위해서는 새로운 하드웨어와 소프트웨어를 구입해야 했고, 퍼블릭 클라우드를 사용할 경우 클라우드에서 이미지를 가져와야 했습니다. 약 10억 개의 이미지를 다룰 경우, 대역폭과 비용이 많이 소요됐습니다”고 설명했는데요.
이제 OCR은 쿠버네티스(Kubernetes)에서 관리되고, Triton Inference Server를 활용하는 ECIP 컨테이너의 딥 러닝 모델로 처리됩니다. 이러한 시스템을 통해 코로나19 팬데믹 초기에는 ECIP를 원활하게 구축할 수 있었습니다. 운영자들은 다른 시스템이 제공되고 있을 때 컨테이너를 통해 첫 번째 시스템을 실행하고, 전체 네트워크가 설치될 때에는 컨테이너를 업데이트했습니다.
AI 알고리즘은 USPS 엔지니어링 시설에 있는 NVIDIA DGX 서버에서 개발됐습니다. 쉬멜 매니저는 “구축과정이 매우 간소화됐습니다. 2019년 9월 계약을 체결하고, 2020년 2월에 시스템 구축을 시작해 8월까지 하드웨어 부분을 완료했습니다. 이 과정에 매우 만족합니다”고 말했죠.
ECIP의 Triton Inference Server는 서로 다른 버전의 GPU와 CPU를 통해 각각의 딥 러닝 프레임워크를 지원하는 시스템을 위한 AI 모델의 전달을 자동화합니다. 이는 거의 200대에 달하는 분산형 서버의 ECIP 네트워크와 같은 엣지 AI 시스템의 시간을 절약할 수 있죠.
우편 항목을 확인하는 애플리케이션만 하더라도, 각각 특정 기능을 확인하는 6개 이상의 딥 러닝 모델의 작업을 조정해야 합니다. 더불어, 앞으로 더 많은 기능을 가능하게 하는 추가적인 모델을 통해 앱이 더욱 개선될 전망입니다.
엣지 AI 애플리케이션 파이프라인
지금까지 USPS는 엔터프라이즈 애널리틱스 부서에서 재무, 마케팅 부서에 이르기까지 전반적으로 ECIP를 위한 약 30개의 애플리케이션에 대해 아이디어를 제시했습니다. 올해 해당 애플리케이션 중 일부를 설치하고 실행하기를 희망하고 있는데요. 그 중 하나는 각 소포의 규격, 무게와 목적지에 알맞은 우편 요금이 적용됐는지 자동으로 확인하는 애플리케이션입니다. 다른 하나는 손상된 바코드를 해석하는 애플리케이션으로, 빠르면 올 여름에 온라인으로 이용할 수 있습니다.
쉬멜 매니저는 “이는 특정 소포가 어디에 있는지 알려주기 때문에 우리와 고객 모두에게 이익이 됩니다. 완벽한 해결책은 아니지만, 격차를 해소하고 우리의 역량을 향상시키는 데 도움이 될 것입니다”라고 말했죠.
USPS는 디지털 발자국을 탐색하고 고객에게 이익이 되는 방식으로 데이터 의 가치를 실현하고자 광범위하게 노력하고 있습니다. 쉬멜 매니저는 “USPS는 엣지 AI와 함께하는 여행을 지금 막 시작했습니다. 우리는 머신 러닝을 로보틱스, 데이터와 이미지 처리의 새로운 분야에 적용할 다양한 방법을 매일 생각하고 있습니다”라고 말했습니다.