정소영 상무, NVIDIA Solutions Architect
Jetson은 Autonomous Robot 및 Edge computing 등의 다양한 Embedded 환경을 지원하는 NVIDIA Edge 플랫폼으로서, 그 용도 및 성능에 따라 다양한 제품군을 보유하고 있습니다. 이와 관련하여 NVIDIA는 최근 신용카드보다 작은 크기의 Form Factor임에도 불구하고 고성능 AI 기능을 제공하면서 10W에 불과한 소비전력을 갖는 Jetson Xavier NX 제품을 발표하였고, 이를 통해 소형 상업용 로봇, 드론, 공장 물류, 생산 라인 검사 설비, 휴대용 의료 기기, 지능형 비디오 분석 시스템, 기타 다양한 IoT 디바이스 등의 Embedded Computing 환경에서 강력한 딥러닝 성능을 쉽고 편리하게 제공할 수 있습니다.
본 글에서는 Jetson Xavier NX의 상세 사양, 세부 computing platform 환경, 딥러닝 성능 등에 대하여 자세히 설명하고, 이를 통해 기존의 Jetson 제품군을 통해 충족할 수 없었던 다양한 Embedded 환경하에서의 요구 사항들에 대한 가능성을 제공하고자 합니다. Jetson Xavier NX에 대하여 보다 자세한 설명이 필요하거나 NVIDIA와 프로젝트를 진행하기를 원할 경우에는 언제든지 연락 주시기 바랍니다.
- 개요
Jetson Xavier NX는 Autonomous robot 및 Edge computing 장치를 위한 세계에서 가장 작은 Embedded AI super computer로서, Jetson Nano와 pin-compatible 한 70x45mm의 form factor에서 소형 서버 급 성능을 구현할 수 있는 최신 제품입니다. (그림 1 참조) Jetson Xavier NX는 10W 소비전력으로 최대 14 TOPS의 컴퓨팅 성능을 제공하며, 15W 소비 전력으로 최대 21 TOPS의 컴퓨팅 성능을 제공합니다..
Jetson Xavier NX는 48개의 Tensor Core와 384 개의 CUDA core를 장착한 embedded NVIDIA Volta GPU core, NVIDIA Carmel ARMv8 64bit 6 core, 8GB 128bit LPDDR4x, Dual NVIDIA 딥러닝 가속기 (NVDLA) 엔진, 4K Video Encoder / Decoder, 최대 6개의 동시 고해상도 센서 스트림을 위한 전용 카메라 인터페이스, PCIe Gen3, Dual Display port / HDMI 4K display 등의 기능을 제공하고 있습니다. (그림 2, 표 1 참조) 특히 Jetson이 제공하는 Shared memory fabric을 이용하면 memory copy로 인한 processor overhead를 없이 CUDA core와 ARM core 간 데이터를 공유 (Zero Copy) 할 수 있어 시스템의 이용률과 처리량을 효율적으로 향상시킬 수 있습니다.
Jetson Xavier NX 모듈은 399 달러의 가격으로 2020년 3월부터 구매가 가능합니다.
- 개발
NVIDIA의 기술적 장점 중의 하나는 NVIDIA가 지원하는 모든 플랫폼에서의 AI 개발이 CUDA-X SW stack으로 동일하게 지원된다는 점입니다. Jetson Xavier NX 역시 NVIDIA의 CUDA-X SW stack 기반으로 JetPack SDK를 통해 embedded 환경에서도 유연하게 개발할 수 있는 환경을 제공하고 있으며, 이를 통해 real-time computer vision, 산업용 센서 데이터 처리, multimedia 응용 프로그램 그리고 대부분의 딥러닝 framework 지원 등이 가능합니다. 특히, CUDA-X 기반의 유연한 개발 환경을 통해서 Datacenter 및 Cloud 환경의 NVIDIA AI accelerated platform과 유연한 연계가 가능하여 Edge-to-Cloud 환경을 쉽게 구축할 수 있습니다. Jetson에서도 TensorRT와 같은 NVIDIA의 다양한 solution들을 활용할 수 있으며, 특히 Tensorflow, PyTorch, Caffe, MXNet 등 개발자가 원하는 다양한 딥러닝 framework를 바탕으로 한 유연한 개발 환경을 지원한다는 것이 경쟁 제품 대비 큰 차별점이라고 할 수 있습니다.
Jetson Xavier NX 모듈의 design guide 및 다운로드 가능한 설계 자료를 이용하면 다양한 종류의 device와 system을 만들 수 있습니다. 특히 Jetson Nano와 pin-compatible 한 구조를 갖추고 있으므로, 기존에 Jetson Nano로 만든 제품에 대한 고성능 버전으로 손쉬운 업그레이드도 가능합니다. 특히, Jetson이 제공하고 있는 Eco system을 통해서 만날 수 있는 HW 설계 파트너들을 통해서 상용 캐리어, 센서 및 엑세서리 연동 등이 가능할 뿐만 아니라, 고객이 원하는 맞춤형 설계 서비스 및 시스템 통합 작업도 활용 가능합니다.
Jetson Xavier NX는 10W 및 15W 등 두개의 기본 전원 모드를 제공하며, 각각의 모드에 대해 최대 14 TOPS 및 21 TOPS 성능을 제공합니다. Power profile을 관리하기 위해서 nvpmodel이라는 도구를 제공하며, 이를 통해서 online CPU cluster 수, CPU/GPU/Memory controller/SoC등의 max. clock frequency를 조정할 수 있습니다. (표 2 참조)
Jetson Xavier NX의 DVFS (Dynamic Voltage and Frequency Scaling) 은 runtime 시에 nvpmodel에 설정된 정책에 맞추어 동적으로 power와 frequency를 조정하는 기능을 제공합니다. 따라서 idle 시에는 소비 전력을 최소한으로 절감할 수 있을 뿐만 아니라 사용되는 workload에 따라 적절한 frequency를 조절하여 최적의 소비전력 사용을 제공합니다. 또한 사용자가 원하는 수준의 custom profile 구성에 따른 정책을 반영할 수 있으며, 이를 위해서는 /etc/nvpmodel.conf 를 수정하여 application requirement와 TDP에 맞게 새로운 power mode를 설정하여 사용할 수 있습니다.
- 딥러닝 성능
NVIDIA는 다양한 종류의 GPU 에 대해 MLPerf에 inference 성능을 제공하고 있으며, 그림 3에서와 같이 다양한 Jetson 제품에 대한 딥러닝 성능도 제공하고 있습니다.
Jetson Xavier NX는 Jetson TX2와 동일한 소비 전력과 더 작은 form factor 하에서 최대 15배 높은 성능을 제공하고 있습니다. Jetson Xavier 기준으로 절반의 소비 전력으로도 대략 2/3의 성능 그리고1/3의 가격으로edge 환경에서 가장 효율적인 가격대 성능비를 제공한다고 할 수 있습니다.
- 결론
Jetson Xavier NX는 소형 로봇, 지능형 드론, 스마트 카메라 기반의 지능형 비디오 시스템, 산업용 센서 데이터 처리 등 다양한 embedded 환경 및 IoT 환경에서 최적의 솔루션을 제공합니다. Jetson Xavier NX의 JetPack SDK는 다양한 AI 솔루션을 쉽고 편리하게 개발할 수 있는 SW 개발 환경을 제공하며, 이를 통해 cloud에서 edge 까지 AI를 쉽고 편리하게 확장할 수 있는 도구를 제공합니다. 보다 자세한 정보나 NVIDIA와의 협업을 원하실 경우는 언제든지 연락 주시기 바랍니다.
