엔비디아 DGX SuperPOD 컴퓨팅 플랫폼을 기반으로 구축된 KT의 초거대 인공지능(AI) 믿음(Mi:dm) 서비스를 공개합니다!
한 기업이 사업을 이끌기 위해 AI가 필수인 시대이죠. 많은 기업들이 AI 기술을 활용해 소비자 경험을 극대화하고 맞춤 서비스를 제공하기 위해 노력합니다. 그러나 모든 기업이 AI 기술을 구현해내기란 어렵습니다. KT는 대기업부터 스타트업에 이르기까지 기업의 규모와 사용 목적에 맞게 이를 사용할 수 있도록 믿음 파운데이션 모델(Foundation Model)을 개방했습니다. 아울러 KT는 전용 포털에서 다양한 모델을 선택해 여건에 맞게 미세 조정할 수 있도록 믿음 스튜디오(Studio)도 함께 구축했습니다.
믿음은 대규모의 데이터를 학습한 대규모 언어 모델(LLM)입니다. KT는 엔비디아 DGX SuperPOD 데이터센터 플랫폼을 기반으로 믿음을 개발했는데요. 믿음은 대규모 데이터 학습을 기반으로 설계된 목적 외에도 다양한 과제에 대한 답변을 생성할 수 있습니다. 목적에 따라 개별의 데이터 수집, 학습, 추론이 필요했던 기존 모델과 달리 하나의 모델로 여러가지 업무들을 동시에 수행하죠.
믿음 파운데이션 모델 학습에는 엔비디아 네모 프레임워크(NeMo Framework)가 활용됐습니다. 안전하고 확장 가능한 AI를 지원하는 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 제품군에 포함된 네모 프레임워크는 데이터 처리, 학습, 평가, 생성형 AI 모델 추론 등 LLM 파이프라인 전반에 걸친 완벽한 솔루션으로 주목받고 있습니다. 엔비디아 네모는 대규모로 LLM을 신속하게 학습, 커스터마이징, 배포함으로써 투자수익률(ROI)을 향상시킵니다. 또한 멀티 노드와 멀티 GPU 학습을 통해 처리량을 극대화하여 LLM 학습 시간도 최소화하죠. 엔비디아는 KT와 협력해 최적의 3D parallelism을 찾아 초거대AI 믿음 학습에 사용되는 계산 처리량을 극대화했습니다.
믿음은 효율적 미세학습(PEFT, Parameter Efficient Fine-Tuning) 방식을 통한 맞춤화 서비스(customization) 역시 지원하고 있습니다. PEFT는 대규모의 언어모델을 미세학습하는 데 많은 시간이 소요되는 어려움을 해결하기 위한 기법인데요. 사전 학습된 네트워크의 원래 매개변수를 대부분 동결한 채 소수의 가중치만 추가로 학습하는 기법이며, 이를 통해 기업에 특정 작업과 도메인 맞춤형 AI를 제공할 수 있습니다. 엔비디아는 KT와의 협업을 통해 LoRA 및 IA^3 등 다양한 미세학습 방법을 비교 분석해 구현했습니다. 그 결과, 네모 프레임워크와 텐서RT-LLM(TensorRT-LLM) 소프트웨어에는 이러한 미세학습 방법이 지원되고 있죠.
텐서RT-LLM은 엔비디아 GPU 상에서 최적의 LLM 추론 성능을 제공하는 추론 솔루션이며, 양자화된 모델의 분산추론을 효율적으로 지원합니다. 엔비디아는 현재 KT와 함께 int4 규모의 양자화를 제공할 예정이며, 이를 통해 모델의 메모리 소요량을 1/8 크기로 줄일 수 있는 솔루션을 제공합니다.
KT 초거대AI 믿음은 응답의 유용성(Helpfulness), 안정성(Safety) 등의 향상을 위해 다양한 강화학습을 사용했습니다. 엔비디아는 KT와의 협업을 통해 PPO(Proximal Policy Optimization), DPO(Direct Preference Optimization), SteerLM 등 다양한 방법론을 비교했으며, 네모 프레임워크에서는 RLHF(Reinforcement Learning From Human Feedback)와 SteerLM 등 모델 정렬(Model Alignment) 능력 향상을 위한 다양한 방법론 역시 같이 제공될 예정입니다.
믿음의 다양한 활용 사례
KT는 기업 데이터 학습을 통한 기업 고객 전용 프라이빗-LLM(Private-LLM)을 제공합니다. 또한 기업의 니즈에 맞춰 믿음의 다양한 모델 라인업을 준비했는데요. 매개변수 수억 개 수준의 경량화 모델부터 한국어와 영어를 모두 지원하는 이종 언어(Bilingual) 모델, GPT/T5, GPT-3(1750억개)보다 매개변수가 많은 수천억 개 규모 등 다양한 모델 라인업을 통해 타깃 영역에 맞춤형으로 제공됩니다.
KT는 초거대 AI에 기반한 디지털 전환과 AI 생태계를 가속화하겠다는 의지를 밝혔습니다. 그리고 선도적인 디지털 플랫폼 기업 KT는 이미 사업 곳곳에 믿음을 활용하고 있죠.
“엔비디아 네모 프레임워크 덕분에 ‘믿음 서비스’에서 파운데이션 모델을 쉽고 빠르고 안정적으로 훈련하고 배포할 수 있었습니다. 또한, 엔비디아와의 협업으로 최첨단 미세 조정과 정렬 기술을 적용해 모델 성능을 향상시켰습니다. 특히, 양자화 같은 엔비디아 TRT-LLM 소프트웨어의 다양한 기술 덕분에 총소유비용(TCO)을 획기적으로 절감했습니다.”
KT는 AICC 콜센터 고도화에 믿음을 도입했습니다. 믿음은 상담 내용을 문장을 발화 그대로 기재했던 기존 방식과 달리, 고객의 상담 문의사항, 처리사항, 이외 논의된 내용 등을 구분해 구조화된 형태의 요약문으로 요약합니다. 그리고 상담 유형을 분류하고, 상담 중 주요 내용에 대한 정보를 실시간 제공합니다. 그 결과 상담사의 후처리 시간이 단축돼 건당 15초가 절감됐습니다.
믿음은 기가지니에서 사용자의 의도를 분석하고, 응답의 스타일을 생성하는 데에도 사용되고 있습니다. 이외에도 지니TV 생성형 AI 큐레이션으로 초거대 AI를 이용해 지니TV 콘텐츠 추천을 위한 마케팅 문구를 생성하는 데에도 사용하는 등 다양한 영역에서 초거대 AI를 활용하고 있습니다.