미래의 석유라고 불리는 데이터, 그렇다면 AI는 정유소라고 할 수 있습니다. 원유가 휘발유나 기타 소비재로 가공된 이후에 그 진가를 발휘하듯 기업이 생성하고 수집하는 로우 데이터(raw data)도 마찬가지로 가공을 거쳐야만 그 진정한 가치를 알 수 있죠.
인공지능(AI)은 기업이 보유한 방대한 데이터를 고객 경험을 개선하고, 새로운 비즈니스 모델을 구축하고, 운영 효율성과 경쟁력을 향상시키는 유용한 인사이트로 전환해줍니다.
NGC, NGC 레디 시스템, NGC 지원 서비스 등을 포함한 엔비디아의 GPU 컴퓨팅 플랫폼은 AI, 곧 정유소를 구동하는 동력이 됩니다. NGC는 생산 단계에서 AI를 훈련하고 배포하기 위해 GPU 최적화 프레임워크, 사전 훈련된 모델과 툴킷을 제공하는 소프트웨어 허브입니다.
현재 엔비디아는 개발자가 툴킷과 SDK를 통해 AI를 더욱 빠르고 안전하게 만들고 프라이빗 레지스트리와의 공유·배포를 지원하기 위해 NGC를 확장하고 있습니다.
훈련·추론·배포를 간소화하는 엔비디아 AI 툴킷과 SDK
엔비디아 AI 툴킷은 광범위한 산업과 AI 애플리케이션에 사전 훈련된 NGC 모델을 훈련하고, 미세한 조절을 통해 완성도를 높이고, 최적화, 배포하기 위한 아래와 같은 라이브러리와 도구를 제공하고 있습니다.
- AI 지원 주석 도구 : AI 학습을 위한 데이터세트 레이블링 도구
- 전송 학습 툴킷 : 사용자 데이터로 사전 학습한 모델을 세밀하게 조절해 맨 처음 단계부터 시작하지 않아도 되 학습 비용 절감 효과
- 연합 학습(federated learning) : 고객사가 자체 데이터를 공유하지 않고도 협업을 통해 AI 모델 학습이 가능해 개인정보 보호 가능
- 니모(NeMo) 툴킷 : 음성 인식과 자연어 처리용도의 최첨단 모델을 빠르게 구축
- 서비스 메이커(Service Maker) 툴킷 : 쿠버네티스(Kubernetes) 서비스에 빠르게 확장하고 쉽게 배포 가능한 gRPC 서비스로 훈련된 모델 제공
툴킷을 이용해 개발된 모델들은 클라이언트 애플리케이션에 통합된 후 엔비디아가 제공한 소프트웨어 개발 키트를 통해 생산 단계에 적용될 수 있습니다. 텐서RT(TensorRT)와 트리톤 추론 서버(Triton Inference Server)를 기본 구성요소 활용하는 SDK는 다양한 산업분야에서 쓰이고 있는데요. 예를 들어 NVIDIA Riva는 대화형 AI에, 엔비디아 멀린(NVIDIA Merlin)는 추천 시스템에, 엔비디아 메트로폴리스(NVIDIA Metropolis)와 엔비디아 딥스트림(NVIDIA DeepStream)은 동영상 분석에, 엔비디아 아이작 심(NVIDIA Isaac Sim)은 로보틱스에, 엔비디아 애어리얼(NVIDIA Aerial)은 5G 가속에 사용되죠.
지적재산권을 지켜주는 NGC 프라이빗 레지스트리
이와 같은 AI 툴킷을 사용해 생성된 커스텀 모델들은 기업들이 가장 높은 수준으로 보호하는 지적재산인데요. 기업들은 이 모델들을 생산 환경에서 안전하게 공유, 조정, 적용해야 합니다.
이것이 엔비디아가 NGC를 프라이빗 레지스트리로 확장해 기업들이 사내 부서 간에 맞춤형 컨테이너와 모델을 안전하게 서명, 저장, 관리, 공유할 수 있게 만든 이유입니다.
레지스트리에는 몇 가지 새로운 보안 기능이 추가됐습니다. 프라이빗 레지스트리로 보내진 컨테이너는 CVE(일반 취약 및 노출) 확인을 위해 자동 스캔됩니다. 기업들은 중요하거나 높은 CVE 수치를 보유한 컨테이너를 표시해 초기 개발 단계에서 발생하는 문제들을 사전에 해결하고 안전한 소프트웨어를 생산할 수 있습니다.
또 퍼블리셔와 개발자들은 곧 프라이빗 레스트리에서 자신의 컨테이너에 서명할 수 있게 되는데요. 소프트웨어 사용자들은 이를 통해 자신이 사용하는 콘텐츠가 검증된 출처에서 생성된 훼손되지 않은 정품 모델인 것을 확인할 수 있죠.
데이터 사이언티스트들은 많은 기업들과 협업하면서 AI 훈련 과정을 거듭 반복함에 따라 고유한 변수(parameter)를 갖는 다수의 모델을 만듭니다. NGC 모델-버저닝 시스템은 이런 고유한 변수를 쉽게 확인하고 용도에 맞는 모델을 찾아 생산단계에 투입할 수 있게 지원합니다.
엣지 단에서 안전하게 적용되는 AI 모델
일명 ‘스마트 에브리싱 혁명(smart everything revolution)’을 주도하고 있는 AI 모델이 작용점(point of action)에 가까이 있는 엣지 단에서 사용되고 있는 경우가 늘어나고 있습니다. 하지만 엣지 단에는 데이터 센터에서 볼 수 있는 IT 임직원이나 보안 프로토콜이 없는 경우가 많다 보니 보안 문제가 발생할 수 있는데요.
5월 출시된 엔비디아 EGX A100는 새로운 GPU 보안 엔진을 사용해 암호화된 AI 모델을 로딩하는 기밀 AI 엔클레이브(confidential AI enclave)를 제공하며 소중한 IP가 도난되지 않도록 보호합니다. 개발자들은 NGC 프라이밋 레지스트리로 AI 모델을 암호화하고 엣지 단으로 안전하게 전송할 수 있습니다. 유휴상태에 있거나 프라이빗 레지스트리에서 GPU 메모리로 이동하는 암호화 모델은 엣지에서 구동되는 AI 모델에 인코딩된 IP에 대한 공격을 줄여줍니다.
프라이빗 레지스트리는 궁극적으로 사용자에게 클라우드 호스티드 플랫폼(cloud-hosted platform)을 제공해 사용자가 엣지단에 적용할 커스텀 컨테이너와 모델을 안전하게 보호합니다.
x86, Arm, POWER 시스템에서 매끄럽게 구동되는 엔비디아 NGC
AI 워크플로우는 데이터 센터, 클라우드, 엣지 전반에서 구현되며 다양한 CPU 아키텍처에서 실행되야 할 수도 있습니다. 엔비디아는 NGC가 이와 같은 유연한 환경에서 실행될 수 있도록 다중 아키텍처를 지원을 추가해 업그레이드했습니다.
이를 통해 도커(Docker), 크라이오(cri-o), 컨테이너D(containerD), 싱귤래리티(Singularity) 등 흔히 사용되는 런타임이 시스템 아키텍처와 일치하는 이미지 변수를 자동 선택하고 실행해 다양한 환경에서 적용되는 과정을 간소화할 수 있죠.
IBM이 비주얼 인사이트(Visual Insights) 소프트웨어를 레지스트리에 적용한 덕분에 NGC가 이제 x86과 Arm 기반 컨테이너 외에도 파워 아키텍처(POWER architecture)를 지원하게 됐는데요. IBM 비주얼 인사이트는 기업 사용자가 딥 러닝이 사용되는 컴퓨터 비전에 대한 접근성을 높여 AI 비전 기술이 더 빠르게 적용될 수 있게 지원하고 생산성도 높여줍니다.
지금 NGC를 사용해보세요!
NGC의 GPU 최적화 소프트웨어 툴로 AI 솔루션을 빠르게 만들어 보세요! 생성된 AI 솔루션을 프라이빗 레지스트리에 공유하고 온프레미스, 클라우드, 엣지 시스템에 안전하게 적용해보세요. NGC 홈페이지에서 보다 상세한 정보를 확인해보세요!