NVIDIA NGC 카탈로그는 GPU 최적화 딥 러닝, 머신 러닝, HPC 애플리케이션을 위한 허브입니다. 고성능 소프트웨어 컨테이너, 사전 훈련된 모델, 기업용 SDK, 헬름 차트(Helm chart)를 통해 카탈로그에서 제공되는 콘텐츠는 엔드 투 엔드 워크플로우를 단순화하고 가속화하죠.
NGC 카탈로그에 추가된 몇 가지 사항과 소프트웨어 업데이트는 다음과 같습니다.
NVIDIA NeMo
NVIDIA NeMo(Neural Modules)는 대화형 인공지능(AI)을 위한 오픈 소스 툴킷입니다. 이는 데이터 사이언티스트와 연구자가 연결 가능한 API 호환 빌딩 블록을 통해 새로운 최첨단 음성 및 자연어처리(NLP) 네트워크를 쉽게 구축할 수 있도록 설계됐습니다.
NeMo의 최신 버전은 긴 AU 파일의 컨포머 ONNX(Conformer ONNX) 변환, 스트리밍 추론을 위한 지원 기능이 추가됐으며, 스피커 클러스터링, 검증, 분리 성능을 향상시켰습니다. 또한 여러 데이터세트, 우좌(right to left) 모델, 노이즈가 많은 채널 순위 조정, NMT(신경망 기계번역)를 위한 앙상블링 등이 추가됐습니다. 뿐만 아니라, NMT 효율성이 향상됐고 NMT 데이터 정리와 전처리를 위한 튜토리얼 노트북도 추가됐습니다.
NVIDIA HPC SDK
NVIDIA HPC SDK는 HPC 애플리케이션의 개발자 생산성, 성능과 휴대성을 극대화하는 데 필수적인 컴파일러, 라이브러리, 툴을 포괄한 제품군입니다.
최신 버전에는 NVIDIA Arm HPC 개발자 키트와 CUDA 11.4에 대한 모든 지원을 포함합니다. 또한 개선된 벡터화, 최적화된 수학 기능 등 Arm기반 성능 향상과 함께 HPC 컴파일러를 제공합니다.
NVIDIA 데이터 센터 인프라-온-칩 아키텍처 (DOCA, Data Center Infrastructure-on-a-Chip Architecture)
NVIDIA DOCA SDK를 통해 개발자는 BlueField 데이터 처리 장치(DPU) 상에서 애플리케이션과 서비스를 신속하게 만들 수 있습니다.
NVIDIA DOCA 컨테이너 와 리소스는 BlueField DPU상에서 NVIDIA DOCA 애플리케이션과 개발 설정을 구축하는 데 도움을 줍니다. 구축은 Kubernetes 을 기반으로 하며, 리소스는 다른 DOCA 컨테이너에 필요하고 바로 사용 가능한 .yaml 구성 파일들을 모아둔 것입니다.
NVIDIA 시스템 관리(NVSM, System Management)
NVSM은 데이터 센터의 DGX 노드를 모니터링하기 위한 소프트웨어 프레임워크로, 능동적인 상태 모니터링, 시스템 경고, 로그 생성 기능을 제공합니다. NVSM은 DGX 스테이션에 시스템의 상태와 진단 정보를 제공합니다.
딥 러닝 소프트웨어
훈련과 추론을 위한 가장 인기 있는 딥 러닝 프레임워크는 매월 업데이트됩니다. 최신 버전(v21.07)은 다음과 같은 부분에서 이뤄졌습니다.
파이토치 라이트닝(PyTorch Lightning)
파이토치 라이트닝(PyTorch Lightning)은 다중 GPU, 다중 노드 구성에서 규모에 맞는 모델 교육을 위한 경량 프레임워크입니다. 코드 변경 없이 가능하며, 고급 훈련 최적화 기능을 플래그 스위치로 작동합니다.
v1.4.0은 FSP(Fully Sharded Parallelism)에 대한 지원을 추가했으며, A100에서 400억 개 이상의 파라미터에 도달하여 더 큰 모델을 다중 GPU와 메모리에 맞춥니다.
또한 신규 딥스피드 인피니티(DeepSpeed Infinity) 플러그인과 큐브플로우환경(Kubeflow Environment)과 LSFE환경(LSFEnvironment) 등 새로운 클러스터 환경을 지원합니다.
새로운 v1.4.0 기능의 전체 목록을 확인해보세요 >>
NGC 팀은 NGC 카탈로그에서 PyTorch 상단에 구축된 AI 프레임워크인 PyTorch Lightning을 사용해 AI 모델을 구축하는 방법을 소개하기 위해 라이브 Q&A와 함께 웨비나를 개최하고 있습니다.
PyTorch Lightning, NGC, AWS를 통해 AI 모델 개발을 단순화하고 가속화하기(Simplify and Accelerate AI Model Development with PyTorch Lightning, NGC, and AWS)
NVIDIA Magnum IO 개발자 환경
NVIDIA Magnum IO는 최신 데이터 센터의 I/O 서브시스템을 구성하고 규모에 맞는 애플리케이션을 지원하는 I/O 기술의 모음입니다.
Magnum IO 개발자 환경 컨테이너는 두 가지 주요 목적으로 사용됩니다.
- 개발자가 노트북, 데스크톱, 워크스테이션 또는 클라우드에서 애플리케이션 확장을 시작할 수 있습니다.
- 현지에서 또는 CI/CD 시스템에서 빌드 컨테이너의 기반을 제공합니다.
NGC 카탈로그를 방문해 GPU에 최적화된 소프트웨어가 워크플로우를 단순화하고 솔루션 시간을 단축하는 방법을 살펴보세요.