한국의 KT가 NVIDIA와 협력하여 스마트 스피커와 고객 콜센터를 훈련했습니다.
국내 인기 AI 음성비서 기가지니는 800만 명의 사용자와 대화하죠.
KT의 AI 기반 스피커는 TV를 제어하고, 실시간 교통 정보를 제공하며 기타 집안에서의 다양한 업무를 수행하는데요. 대형의 텍스트 데이터 세트를 기반으로 인간 언어를 인식, 이해, 예측, 생성할 수 있는 머신 러닝 알고리즘인 초거대 언어모델 덕분에 매우 복잡한 한국어 대화 기술을 숙달 중입니다.
KT는 NVIDIA DGX SuperPOD 데이터센터 인프라 플랫폼과 NeMo Megatron 프레임워크 위에서KT 독자 기술의 초거대 언어모델 MI:DEUM을 개발했습니다.
한글로 알려진 한국어는 세계에서 가장 어려운 언어 목록에 꾸준히 포함돼 왔습니다. 한국어에는 네 가지 유형의 복합동사가 존재하며, 한국어 단어는 종종 두 개 이상의 어근으로 구성됩니다.
2,200만 명이 넘는 유무선 가입자를 보유한 한국의 선도적인 디지털 플랫폼 기업 KT는 초거대 언어모델 MI:DEUM을 개발해 스마트 스피커의 단어에 대한 이해도를 높이고 있습니다. KT는 2,000억개 이상의 매개변수를 가진 분야 별 최적화된 다양한 모델을 사업에 적용할 예정입니다. 더불어 기가지니는 아마존 알렉사(Alexa)와의 통합을 통해 사용자와 영어로 대화할 수 있습니다.
KT의Large AI 개발팀 류휘정 팀장은 “트랜스포머 기반 모델을 통해 기가지니 스마트 스피커와 고객 서비스 플랫폼 AI 컨택센터(AICC)의 품질이 크게 향상됐습니다”라고 말했습니다.
AICC는 AI 음성 에이전트 및 기타 고객 서비스 관련 애플리케이션을 제공하는 올인원 클라우드 기반 플랫폼입니다.
AICC는 전화를 받고 요청된 정보를 제공하거나 고객을 상담원과 빠르게 연결해 보다 자세한 문의에 대한 답변을 제공할 수 있죠. 류팀장에 따르면, 인간의 개입이 없이 AICC는 매일 전국적으로 10만 건 이상의 전화를 관리하고 있습니다.
류 팀장은 “기가지니는 MI:DEUM을 통해 언어 이해도를 높이고 인간과 유사한 문장을 더 많이 생성할 수 있으며, AICC는 문의 유형을 더 빠르게 요약하고 분류해 상담 시간을 15초 단축할 수 있습니다”라고 덧붙였습니다.
대규모 언어모델 훈련
초거대 언어모델을 개발하는 것은 심도 있는 기술 전문 지식과 전체 스택 기술 투자가 필요한 값비싸고, 시간 소모적인 과정일 수 있습니다.
NVIDIA AI 플랫폼은 KT를 위해 이 과정을 간소화하고 가속화했습니다.
류 팀장은 “NVIDIA DGX SuperPOD의 강력한 성능과 NeMo Megatron의 최적화된 알고리즘과 3D 병렬 처리 기술을 통해 모델을 보다 효과적으로 훈련했습니다. KT의 MI:DEUM은 한국어 인코더-디코더 구조로는 최대 규모의 언어모델로 다양한 선도 기술을 반영하고 있습니다. NVIDIA와 협력하여 NeMo Megatron에 지속적으로 기술을 반영하고 있으며, 이는 모델 정확도를 개선하는 데 있어 가장 큰 장점이라고 생각합니다”라고 설명했습니다.
대규모 딥 러닝 모델을 여러 장치에 분할하는 분산 학습 방법인 3D 병렬 처리는 대규모 언어모델을 빠르게 개발하는데 중요한 포인트로서, NeMo Megatron을 통해 팀은 가장 높은 처리량으로 작업을 쉽게 수행할 수 있었습니다.
NVIDIA의 제품은 하드웨어 수준에서 추론 수준까지 풀스택 환경을 제공하며, 엔지니어링 팀과 협업으로 기술 문제를 쉽게 해결할 수 있도록 지원합니다.
KT는 NeMo Megatron의 하이퍼파라미터 최적화 도구를 사용해 다른 프레임워크보다 모델을 두 배 더 빠르게 훈련했습니다. 이러한 도구를 통해 사용자는 훈련, 추론을 위한 최상의 구성을 자동으로 찾아 개발과 배포 과정을 쉽고 빠르게 진행할 수 있습니다.
NVIDIA Triton Inference Server는 최적화된 실시간 추론 서비스를 제공하고, NVIDIA Base Command Manager는 AI 클러스터에서 수백 개의 노드를 쉽게 모니터링하고 관리할 수 있습니다.
류 팀장은 “이러한 학습 인프라 덕분에 KT는 경쟁력 있는 제품을 그 어느 때보다 빠르게 출시할 수 있게 됐습니다. 또한 우리 기술이 타사의 가치를 높이고 혁신적인 제품을 만드는 데 사용될 수 있기 때문에 타사의 혁신을 주도할 수 있다고 믿습니다”라고 밝혔습니다.
KT는 11월에 개발자를 대상으로 20여종의 자연어 이해와 자연어 생성 API를 출시할 예정입니다. 애플리케이션 프로그래밍 인터페이스는 문서 요약과 분류, 감정 인식, 잠재적으로 부적절한 내용의 필터링을 포함한 작업에 사용할 수 있습니다.
9월 19일부터 9월 22일까지 온라인으로 진행되는 NVIDIA GTC를 여기에서 등록하고 참여하세요!