엔비디아의 최신 기술, NVIDIA Jetson Xavier NX, BERT 최적화 기술, 그리고 NVIDIA TensorRT를 소개합니다. 엔비디아가 현재 IT 업계에서 높은 관심을 받고 있는 엣지 컴퓨팅(Edge Computing) 등의 임베디드 환경, 자연어 처리 기술, 그리고 딥 러닝 기술을 이용한 추론 가속화를 어떻게 개선하고 있는지 알아볼까요?
누구나 이해하기 쉽게, Edge Computing & Inference 입문자를 위한!
- NVIDIA Jetson Xavier NX – 엣지 컴퓨팅을 위한 최고의 엔비디아 임베디드 플랫폼
NVIDIA Jetson은 자율 로봇과 엣지 컴퓨팅 등 다양한 임베디드 환경을 지원하는 엔비디아 엣지 플랫폼으로, 사용 용도와 성능에 따른 다양한 제품군이 있습니다.
최근 엔비디아는 신용카드보다 더 작은 크기의 폼팩터에 강력한 고성능 AI 기능을 단 10w의 소비 전력으로 제공하는 Jetson Xavier NX를 발표했습니다. Jetson Xavier NX는 소형 상업용 로봇, 드론, 공장 물류, 생산 라인 검사 설비, 휴대용 의료기기, 지능형 비디오 분석 시스템, 그 밖에 다양한 IoT 디바이스 등의 임베디드 컴퓨팅 환경에서 강력한 딥 러닝 성능을 쉽고 편리하게 제공하는 제품입니다.
여기를 클릭해, Jetson Xavier NX의 상세 사양, 세부 컴퓨팅 플랫폼 환경, 딥 러닝 성능 등을 확인하세요.
- NVIDIA TensorRT – 추론 최적화와 가속화를 위한 엔비디아의 툴 킷
TensorRT는 학습된 딥 러닝 모델을 최적화하고 엔비디아 GPU 상에서 추론(inference) 속도를 작게는 수배, 크게는 수십배까지 높여 딥 러닝 서비스의 총소유비용(TCO)을 낮춰주는 모델 최적화 엔진입니다. 엔비디아의 딥 러닝 추론을 가속화하는 TensorRT 소개와, 다양한 적용 방안에 대한 자세한 정보는 여기에서 확인할 수 있습니다.
자연어처리, 좀 더 Deep-Dive 하게 배우고 싶은 분들을 위한!
엔드투엔드 BERT: 만능 모델 BERT 학습부터 추론
구글의 AI 언어 모델 BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리 모델로서 기존에 사용된 최첨단 자연어 처리모델 ELMO(Embeddings from Language Model) 대비 훨씬 강력해진 성능과 미세한 조정을 통해 광범위한 업무에 적용할 수 있다는 가능성을 보여준 모델입니다. 이런 이유로 현재 대부분의 자연어 처리 모델이 BERT를 기반으로 설계되고 있습니다.
엔비디아는 BERT 모델을 많은 사람들이 간편하게 사용할 수 있도록 모델을 최적화한 다양한 코드를 개발해 공개해 왔습니다. 이를 통해 학습 시간을 크게 줄이고, 추론 작업에 소요되는 지연시간을 단축시킬 수 있습니다.
엔비디아가 BERT를 어떻게 최적화하고 있고, 그로 인해 성능이 어떻게 향상됐는지에 대한 자세한 정보는 여기에서 확인할 수 있습니다.