호주 시드니에서 남서쪽으로 27킬로미터 떨어진 도시 리버풀은 새로운 대학 캠퍼스와 공항 건설로 현재 급격한 성장을 경험하고 있습니다.
중심 업무 지구로 통근하는 인구만 일일 3만 명 이상에 달할 것으로 예상되는데요. 리버풀 측은 이러한 변화가 주변 교통을 비롯해 보행자, 자전거, 차량 이동에 미칠 영향을 파악해야 했습니다.
리버풀시는 안전 모니터링을 위해 이미 CCTV를 설치해 운영 중입니다. 엄격한 사생활 보호법을 적용 받기 때문에 사고가 접수된 후에야 각각의 CCTV가 포착한 수많은 영상과 데이터를 면밀히 조사하죠.
리버풀이 직면했던 문제는 이 방대한 데이터세트에서 유용한 정보를 추출해 그 누구의 사생활도 헤치지 않고 도시를 보다 효율적으로 운영하고 대거 유입되는 통근자들을 관리하고 기존 주민들에게 좋은 환경을 제공하는 것이었는데요.
이 목표를 달성하기 위해 리버풀시는 울런공대학교(UOW)의 ‘디지털 리빙 랩(DLL)’과 힘을 합쳤습니다. DLL은 SMART Infrastructure Facility 산하 연구기관으로 다목적 지능형 영상 애널리틱스 플랫폼(Versatile Intelligent Video Analytics platform)을 개발했는데요. 줄여서 비바(VIVA)로 불리는 이 플랫폼은 데이터 접근성을 제공해 CCTV 네트워크 소유자가 사생활 규제 준수 데이터를 실시간 접속할 수 있게 해 충분한 정보를 바탕으로 더 나은 결정을 내릴 수 있게 해줍니다.
비바는 최신 AI를 탑재한 엣지 컴퓨팅 디바이스에 기존의 인프라를 변환해 넣을 수 있도록 설계되었습니다. 비바의 최신식 딥 러닝 알고리즘들은 엔비디아 메트로폴리스(NVIDIA Metropolis) 플랫폼을 사용해 개발되었죠. 비디오 애널리틱스 딥 러닝 모델들은 유스케이스에 적합하게 맞추기 위해 전이학습을 활용하는데요, 엔비디아의 TensorRT 소프트웨어로 최적화하고 젯슨 엣지 AI 컴퓨터로 배포합니다.
울런공대학교 SMART의 요한 바르텔레미(Johan Barthelemy) 교수는 이렇게 설명합니다. “비바는 비디오 피드를 소스에 최대한 가깝게 프로세스할 수 있도록 설계되었습니다. 여기서 소스는 카메라를 의미하죠. 심층 신경망을 활용해 프레임을 분석한 후 결과를 전송하고 기존 프레임은 폐기합니다.”
프레임을 폐기하면 사생활이 유지됩니다. 그 어떤 이미지도 전송되지 않기 때문이죠. 또한 기술 적용에 필요한 대역폭도 줄일 수 있습니다.
비바는 리버풀 같은 도시뿐 아니라 광범위한 애플리케이션에도 도입되었습니다. 야생동물의 파악과 추적, 폭우 관리를 위한 지하배수로 폐색 탐지와 돌발 홍수 경보, 혹서기의 인구 이동 행태를 파악하기 위한 열감지 카메라 추적 등에도 활용되고 있죠. 또한 화재 시 건물을 수색하는 소방관과 건물 거주자들을 구분해 대피에 도움이 필요한 이들을 지목하는 데 기여하기도 합니다.
교통 패턴 이해하기
울런공대학교의 SMART와 리버풀 시의회, 관련 업계 파트너들의 연구 협력은 다양한 정부 서비스와 시설의 효율성, 유효성, 접근가능성을 개선할 목적으로 진행되고 있습니다.
보행자와 관련해서는 그들의 목적지와 선호하는 경로, 교통 정체 구간을 파악하는 것이 목표입니다. 자전거 운전자의 경우에는 그들이 사용하는 경로를 알고 자전거의 쓰임을 개선하는 방법을 찾는 것이 중요하겠죠. 차량과 관련해서는 움직임과 트래픽의 패턴, 정차와 주차 장소를 아는 것이 관건입니다.
바르텔레미 교수에 따르면 과거에는 한 도시 내부의 모빌리티를 이해하는 데 값비싼 고정 센서가 대거 필요했습니다. 특정 유형의 트래픽 계산에 서로 다른 모델들을 썼고 트래픽 간 상호작용을 이해하는 데 수동 프로세스들을 사용했다고 하는데요.
비바 플랫폼은 엔비디아 젯슨 TX2의 컴퓨터 비전을 엣지단에 활용해 서로 다른 종류의 트래픽을 계산하고 그들의 주행 궤적과 속도를 포착합니다. 데이터 수집은 기존의 CCTV 네트워크를 사용해서 센서를 추가적으로 마련해야 할 부담도 없앴죠.
움직임의 패턴, 혼잡 지점의 파악과 예측은 도로와 보도의 배치와 연결성, 트래픽 관리와 경로 안내의 개선에 도움이 됩니다. 이 데이터는 리버풀의 도시 설계와 중심 업무 지구 트래픽 관리 계획에 일익을 담당해 왔습니다.
엔비디아 기술 기반 머신 러닝 애플리케이션 구축
SMART는 리버풀용 비바 플랫폼의 머신 러닝 애플리케이션 학습에 엔비디아 타이탄(TITAN) GPU로 구동되는 4개의 워크스테이션과 엔비디아 RTX GPU를 장착한 6개의 워크스테이션을 활용해 재현 데이터(synthetic data)를 생성하고 실험을 진행합니다.
DLL은 OpenImage와 COCO, Pascal VOC 등의 개방형 데이터베이스를 학습에 활용하는 한편 유니티 엔진(Unity Engine) 기반 사내 애플리케이션을 통해 재현 데이터를 만듭니다. 재현 데이터는 폭풍우나 자전거 운전자들의 무리처럼 만에 하나 발생할지도 모를 수많은 시나리오에 대해 학습할 기회를 제공해주죠.
바르텔레미 교수는 “이렇게 재현 데이터를 생성하면 서로 다른 날씨, 시간, 빛의 조건 아래 한 시나리오당 35,000개 이상의 이미지가 만들어집니다. 이 이미지들의 사실성 개선을 위해 레이 트레이싱 기법을 활용하고 있죠”라고 설명합니다.
추론 작업의 경우 유스케이스와 필수 프로세스에 맞게 엔비디아 젯슨 나노, 엔비디아 젯슨 TX2, 엔비디아 젯슨 자비에 NX 등이 사용됩니다.