NVIDIA CUDA-X AI는 대화형 AI, 추천 시스템, 컴퓨터 비전용 고성능 GPU 가속 애플리케이션을 구축하는 연구자와 소프트웨어 개발자를 위한 딥 러닝 라이브러리 컬렉션입니다. CUDA-X AI 라이브러리들은 MLPerf 등의 훈련과 추론 벤치마크에서 세계 최고 수준의 성능을 보여주고 있죠.
CUDA-X AI 라이브러리와 NGC 최신 릴리스에 새롭게 추가된 내용을 살펴보겠습니다.
각 패키지와 함께 배포되는 릴리스 노트의 추가 정보를 Documentation에서 확인하십시오.
cuDNN 8.1
NVIDIA CUDA Deep Neural Network(cuDNN)는 심층 신경망을 위한 GPU 가속 프리미티브(primitives) 라이브러리입니다. 최신 버전의 cuDNN에는 다음의 내용이 포함됩니다.
- NVIDIA Ampere 아키텍처 기반 GPU에서 합성곱 신경망(CNN)용 BFloat16 지원
- 오픈소스에서 사용이 가능하며 새롭고 간편한 C++ 프론트엔드 API, 유연한 v8 C 백엔드 API 래핑(wrapping)
- 컨볼루션(convolution), 포인트별 연산, 축소(reduction) 등의 오퍼레이터를 유연하게 통합하여 CNN 가속화
- 컴퓨터 비전, 음성, 자연어 이해 네트워크 최적화 업데이트
TensorRT 7.2
NVIDIA TensorRT는 고성능 딥 러닝 추론용 플랫폼입니다. 이번 버전의 TensorRT에는 다음의 내용이 포함됩니다.
- 새로운 디버깅 API — ONNX Graphsurgeon, Polygraphy, Pytorch Quantization 툴키트
- Python 3.8 지원
이번 버전에는 복수의 버그 픽스(bug fix)와 다큐멘테이션 업그레이드가 추가되었습니다.
Triton 추론 서버 2.6
Triton은 오픈소스 추론 서버 소프트웨어로 성능의 극대화, 규모에 맞는 프로덕션 배포의 간소화를 위해 고안되었습니다. 이번 버전의 Triton에는 다음의 내용이 포함됩니다.
- gRPC와 TensorRT 백엔드를 지원하는 Windows 빌드 알파버전
- Triton에서 최적의 모델 배치를 선택하도록 지원하여 성능을 극대화하는 Model Analyzer의 초기 릴리스 버전
- Ubuntu 20.04 지원 — Ubuntu의 최신 버전과 함께 추가적 보안 업데이트 제공
- DeepStream에서 네이티브 지원 — 쿠버네티스 환경을 보유한 엣지 또는 클라우드에서 DeepStream으로 영상 분석 워크플로우의 추론 실행
NGC 컨테이너 레지스트리
NGC는 GPU 최적화 AI/ ML/ HPC애플리케이션 컨테이너와 모델, SDK용 허브로 소프트웨어의 개발과 배포를 간소화하여 솔루션 구축에 소요되는 시간을 절감합니다. 이번 업데이트에는 다음의 내용이 포함됩니다.
- 아마존 웹 서비스(AWS) 마켓플레이스에서 NGC 카탈로그 지원 — AWS 포털에서 소프트웨어 직접 가져오기 기능 제공
- Triton 추론 서버, TensorRT, PyTorch 등의 딥 러닝 프레임워크를 비롯한 최신 버전의 NVIDIA AI 소프트웨어를 위한 컨테이너
DALI 0.30
NVIDIA Data Loading Library(DALI)는 간편한 오픈소스 GPU 가속 라이브러리로 이미지와 영상의 디코딩과 증강을 지원하여 딥 러닝 애플리케이션을 가속합니다. 이번 버전의 DALI에는 다음의 내용이 포함됩니다.
- 새롭고 간편한 함수형 API의 실험적 적용
- DALI와 Triton 추론 서버의 통합으로 추론 파이프라인 가속화. 이제 서버 측 Triton에서 DALI 파이프라인을 구동할 수 있습니다.
- 새로운 Jupyter Notebook — Geometric Transform과 Reductions
- 3D/볼륨 데이터와 동영상 프로세싱용으로 새롭게 개선된 오퍼레이터
NVJPEG2000 0.1
nvJPEG2000은 GPU 가속 JPEG2000 이미지 디코딩을 위한 새로운 라이브러리입니다. 이번 버전의 nvJPEG2000에는 다음의 내용이 포함됩니다.
- Linux와 Windows 운영체제 지원
- 5-3 웨이블릿(wavelet) 디코딩을 위한 무손실 디코딩 최대 4배 가속, 9-7 웨이블릿 변환을 위한 손실 디코딩 최대 7배 가속
- 이제 비트스트림(bitstream)을 다중 타일로 디코딩할 수 있습니다.