전 세계 국가들은 ‘소버린 AI(Sovereign AI)’를 실현하고자 노력하고 있습니다. 자체 컴퓨팅 인프라, 데이터, 인력, 비즈니스 네트워크를 활용해 인공지능(AI) 시스템을 현지의 가치, 법률, 이해관계에 부합하는 AI로 생산하기 위해서 말이죠.
이러한 노력을 지원하기 위해 NVIDIA는 새로운 NVIDIA NIM 마이크로서비스 4종을 발표했습니다. 이제 개발자들은 고성능 생성형 AI 애플리케이션을 보다 쉽게 구축하고 배포할 수 있습니다.
이 마이크로서비스들은 지역별 요구 사항을 충족하도록 맞춤화된 인기 커뮤니티 모델을 지원합니다. 또한 현지 언어와 문화 유산을 기반으로 정확한 이해와 향상된 응답을 통해 사용자 상호 작용을 향상시키죠.
ABI 리서치(ABI Research)에 따르면, 생성형 AI 소프트웨어 매출은 아시아 태평양 지역에서만 올해 50억 달러에서 2030년 480억 달러까지 증가할 것으로 예상됩니다.
일본어 데이터로 훈련된 라마-3-스왈로우-70B(Llama-3-Swallow-70B)와 중국어 데이터로 훈련된 라마-3-타이완-70B(Llama-3-Taiwan-70B)는 현지 법률, 규정, 기타 관습 등에 대한 심층적인 이해를 제공하는 현지 언어 모델입니다.
미스트랄 7B(Mistral-7B)를 기반으로 구축된 라쿠텐AI 7B(RakutenAI 7B) 모델 제품군은 영어와 일본어 데이터세트로 훈련됐으며, 채팅(Chat)과 지도용(Instruct) 두 가지 NIM 마이크로서비스로 제공됩니다. 라쿠텐의 파운데이션과 지도용 모델은 2024년 1월부터 3월까지 실시한 LM 평가 하네스 벤치마크(LM Evaluation Harness benchmark)에서 평균 최고 점수를 기록해 개방형 일본어 거대 언어 모델(Large Language Model, LLM) 중 최고 점수를 획득했습니다.
지역 언어로 LLM을 훈련하면 문화적, 언어적 미묘함을 더 잘 이해하고 반영하기 때문에 보다 정확하고 섬세한 의사소통을 보장합니다. 결과물의 효율성도 높일 수 있죠.
이 모델은 일본어와 중국어의 이해, 지역 법률 업무, 질의응답, 언어 번역과 요약에 있어 라마3와 같은 기본 LLM에 비해 선도적인 성능을 제공합니다.
싱가포르, 아랍에미리트, 한국, 스웨덴부터 프랑스, 이탈리아, 인도에 이르기까지 전 세계 국가들이 국가 AI 인프라에 투자하고 있습니다.
새로운 NIM 마이크로서비스를 통해 기업, 정부 기관, 대학은 자체 환경에서 네이티브 LLM을 호스팅해 개발자가 고급 코파일럿, 챗봇, AI 어시스턴트를 구축할 수 있죠.
소버린 AI NIM 마이크로서비스로 애플리케이션 개발
개발자들은 NIM 마이크로서비스로 패키징된 소버린 AI 모델을 프로덕션에 쉽게 배포하는 동시에 향상된 성능을 달성할 수 있습니다.
NVIDIA AI Enterprise와 함께 제공되는 마이크로서비스는 NVIDIA TensorRT-LLM 오픈 소스 라이브러리를 사용해 추론에 최적화돼 있습니다.
새로운 라마-3-스왈로우-70B와 라마-3-타이완-70B NIM 마이크로서비스의 기본 모델로 사용된 라마3 70B용 NIM 마이크로서비스는 최대 5배 더 높은 처리량을 제공할 수 있습니다. 이를 통해 프로덕션 환경에서 모델을 실행하는 데 드는 총 비용을 낮추고 지연 시간을 줄여 더 나은 사용자 경험을 제공하죠.
새로운 NIM 마이크로서비스는 현재 호스팅된 애플리케이션 프로그래밍 인터페이스(application programming interface, API)로 제공됩니다.
더 빠르고 정확한 생성형 AI 결과물을 위한 NVIDIA NIM 활용
NIM 마이크로서비스는 배포를 가속화하고 전반적인 성능을 향상시킵니다. 또한 의료, 금융, 제조, 교육, 법률 등을 포함한 글로벌 산업 전반의 조직에 필요한 보안을 제공합니다.
도쿄공업대학(Tokyo Institute of Technology)은 일본어 데이터를 사용해 라마-3-스왈로우 70B를 미세 조정했습니다.
도쿄공업대학의 글로벌 과학 정보와 컴퓨팅 센터(Global Scientific Information and Computing Center) 교수인 리오 요코타(Rio Yokota)는 “LLM은 모든 사람에게 동일한 혜택을 제공하는 기계적인 도구가 아닙니다. 오히려 인간의 문화, 창의성과 상호 작용하는 지적 도구에 가깝죠. 모델은 우리가 훈련하는 데이터의 영향을 받을 뿐만 아니라, 우리의 문화와 우리가 생성하는 데이터도 LLM의 영향을 받는 상호 영향 관계에 있습니다. 따라서 우리의 문화적 규범을 준수하는 소버린 AI 모델을 개발하는 것이 무엇보다 중요합니다. 이제 개발자들은 다양한 산업 분야의 일본 애플리케이션을 위해 라마-3-스왈로우를 NVIDIA NIM 마이크로서비스로 쉽게 액세스하고 배포할 수 있습니다”고 말했습니다.
예를 들어, 일본의 AI 회사인 프리퍼드네트웍스(Preferred Networks, PFN)는 이 모델을 사용해 라마-3-프리퍼드-메드스왈로우-70B(Llama3-Preferred-MedSwallow-70B)를 개발했습니다. 이는 일본 의사 국가고시에서 최고 점수를 획득한 일본 의료 데이터의 고유한 코퍼스를 기반으로 훈련된 의료 전용 모델입니다.
대만의 주요 병원 중 하나인 CGMH(Chang Gung Memorial Hospital)는 병원 시스템 내 모든 LLM 애플리케이션을 중앙 집중화하기 위해 맞춤형 AI 추론 서비스(AI Inference Service, AIIS)를 구축하고 있습니다. 라마-3-타이완-70B를 사용해 환자가 이해할 수 있는 보다 명확한 의료 언어로 일선 의료진의 효율성을 개선하고 있습니다.
CGMH 링코 지부(Linko Branch)의 의학 인공지능 센터(Center for Artificial Intelligence in Medicine) 책임자인 창푸 쿼(Changfu Kuo) 박사는 “현지 언어 LLM으로 구축된 AI 애플리케이션은 상황에 맞는 즉각적인 가이드를 제공함으로써 워크플로우를 간소화하고, 직원 개발을 지원하며, 환자 치료의 질을 개선하는 지속적인 학습 도구 역할을 합니다. NVIDIA NIM은 이러한 애플리케이션 개발을 간소화해 최소한의 엔지니어링 전문 지식으로 현지 언어로 훈련된 모델에 쉽게 액세스하고 배포할 수 있게 해주죠”라고 말했습니다.
대만에 본사를 둔 전자 기기 제조업체인 페가트론(Pegatron)은 내·외부 애플리케이션을 위해 라마-3-타이완-70B NIM 마이크로서비스를 채택할 예정입니다. 페가트론은 프로세스를 자동화하고 제조와 운영의 효율성을 높이기 위해 이를 자사의 페가Ai 에이전틱 AI(PEGAAi Agentic AI) 시스템과 통합했습니다.
글로벌 석유화학 제조업체인 창춘 그룹(Chang Chun Group), 세계적인 인쇄 회로 기판 회사인 유니마이크론(Unimicron), 기술 중심 미디어 회사인 테크오렌지(TechOrange), 온라인 계약 서비스 회사인 리걸사인.ai(LegalSign.ai), 생성형 AI 스타트업인 APMIC에서도 라마-3-타이완 70B NIM을 사용하고 있습니다. 이 기업들은 개방형 모델과도 협력하고 있습니다.
NVIDIA AI 파운드리로 맞춤형 엔터프라이즈 모델 제작하기
지역 AI 모델은 문화적으로 미묘한 차이가 있는 현지화된 응답을 제공할 수 있습니다. 그러나 기업은 여전히 비즈니스 프로세스와 도메인 전문 지식에 맞게 이를 미세 조정해야 하는데요.
NVIDIA AI Foundry는 인기 있는 파운데이션 모델, 미세 조정을 위한 NVIDIA NeMo, NVIDIA DGX 클라우드의 전용 용량을 포함하는 플랫폼이자 서비스입니다. 여기서 제공하는 풀스택 솔루션을 통해 개발자들은 NIM 마이크로서비스로 패키지화된 맞춤형 파운데이션 모델을 제작할 수 있죠.
또한 NVIDIA AI Foundry를 사용하는 개발자는 보안, 안정성, 프로덕션 배포 지원을 제공하는 NVIDIA AI Enterprise 소프트웨어 플랫폼에 액세스할 수 있습니다.
NVIDIA AI Foundry는 개발자가 AI 애플리케이션을 구동하기 위한 맞춤형 현지 언어 NIM 마이크로서비스를 보다 빠르고 쉽게 구축하고 배포하는 데 필요한 도구를 제공합니다. 이를 통해 사용자에게 문화적, 언어적으로 적합한 결과를 보장합니다.