NVIDIA H100 GPU와 NeMo 프레임워크 기반으로 구축된 LG AI연구원의 엑사원 3.0(EXAONE 3.0)을 소개합니다! 엑사원 3.0은 NeMo 프레임워크 위에서 LG AI연구원의 독자 기술로 개발, 학습되었습니다.
엑사원 3.0은 이번 8월에 발표된 LG AI연구원의 최신 AI 파운데이션 모델로, 한국어와 영어, 코딩 등 13개 벤치마크 점수 순위에서 1위를 차지했는데요, 특히 메타(Meta)의 라마(Llama) 등 글로벌 동급 규모의 오픈소스 AI 모델 대비 한국어와 영어에서도 우수한 벤치마크 성능을 확보했습니다. 이 AI 모델은 연구 목적으로 누구나 자유롭게 활용할 수 있습니다.
엑사원 3.0은 TensorRT-LLM SDK를 기반으로 효율적인 비용으로 모델을 배포할 수 있도록 지원하고 있습니다. 관련 예제는 여기에서 확인할 수 있습니다.
LG AI연구원은 엑사원 3.0을 바탕으로 개발된 Enterprise AI Agent인 챗엑사원(ChatEXAONE)도 공개했습니다. LG 그룹사를 대상으로 먼저 오픈 베타 서비스로 출시된 챗엑사원은 기업 사용자의 업무 효율성을 높이고 전문가 수준의 인사이트를 제공하고 있습니다. 여기에서 챗엑사원에 대한 기능을 확인할 수 있습니다.
또한 LG 그룹사 내에서도 엑사원은 다양하게 활용돼 왔습니다. LG유플러스에서는 엑사원 기반의 통신, 플랫폼 데이터 특화의 생성형 AI인 익시젠(ixi-GEN)을 출시한 바 있습니다.
이번에 출시된 엑사원 3.0은 다양한 목적에 맞게 구성된 엑사원 3.0 언어모델 라인업 중에서 7.8B Instruction Tuned 모델을 오픈소스로 공개한 것입니다. 해당 언어모델의 성능 평가 결과와 주요 인사이트는 여기에서 확인할 수 있습니다. 엑사원 3.0과 관련한 자세한 내용은 허깅페이스(Hugging Face)의 리포지토리와 테크니컬 리포트에서도 확인할 수 있습니다.
NVIDIA NeMo 프레임워크
NVIDIA NeMo는 어디서든 생성형 AI 모델을 구축, 맞춤화, 배포할 수 있는 엔드 투 엔드 프레임워크입니다. 생성형 AI용 NVIDIA NeMo를 통해 아래를 포함한 다양한 이점을 경험할 수 있습니다.
- 엔드 투 엔드 파이프라인: 데이터 처리, 훈련에서 생성형 AI 모델의 추론에 이르는 거대 언어 모델(LLM) 파이프라인 전반의 완전한 솔루션 제공
- ROI 증가: 거대 언어 모델(LLM)을 빠르게 훈련하고, 맞춤화하며, 규모별로 배포하여 솔루션 구축 시간을 단축
- 가속화된 성능: 멀티 노드, 멀티 GPU 훈련과 추론을 통해 처리량을 극대화하고 LLM 훈련 시간을 최소화
NVIDIA TensorRT-LLM
TensorRT-LLM은 NVIDIA AI 플랫폼에서 최신 LLM의 추론 성능을 가속화하고 최적화하는 오픈 소스 라이브러리입니다. NVIDIA GPU에서 프로덕트 배포를 위한 최고의 성능을 제공합니다. TensorRT-LLM과 관련된 자세한 내용은 테크니컬 블로그에서 더 알아보세요.