오늘날 사용 가능한 대규모 언어 모델(LLM)은 풍부한 지식을 갖추고 있지만, 마치 타임캡슐과 같은 특성을 가지고 있는데요. LLM이 확보한 정보는 처음 훈련될 당시 사용된 데이터로 제한되기 때문입니다. 예를 들어, 1년 전에 훈련된 기업의 AI 챗봇을 구동하는 LLM은 기업의 최신 제품과 서비스에 대한 정보를 갖지 못합니다.
하지만 NVIDIA NeMo 서비스를 활용하면 이러한 격차를 해소할 수 있습니다. NVIDIA NeMo는 새롭게 발표된 NVIDIA AI Foundations 클라우드 서비스 제품군의 일부로, 기업들은 독점 데이터로 LLM을 보강해 추가적인 학습을 하거나 처음부터 다시 시작할 필요 없이 모델의 지식 베이스를 자주 업데이트할 수 있습니다.
NeMo 서비스의 새로운 기능을 사용하면 LLM이 독점 데이터 소스에서 정확한 정보를 검색하고 사용자 쿼리에 대해 사람과 같은 대화형 답변을 생성할 수 있습니다. 기업들은 해당 기능으로 NeMo를 통해 애플리케이션에 맞게 정기적으로 업데이트되는 도메인별 지식으로 LLM을 사용자 지정할 수 있습니다.
이를 통해 기업은 재고, 서비스 등 다양한 분야에서 지속적으로 변화하는 환경에 발맞춰 정확도 높은 AI 챗봇, 엔터프라이즈 검색 엔진, 시장 인텔리전스 도구 등의 기능을 활용할 수 있습니다.
한편 NeMo는 언어 모델의 응답에 대한 출처를 인용하는 기능이 포함돼 출력물에 대한 사용자의 신뢰를 높입니다. 또한 NeMo를 사용하는 개발자는 가드레일을 설정해 AI의 전문 영역을 정의함으로써 생성된 응답을 보다 잘 제어할 수 있죠.
퀀티파이(Quantiphi)는 AI 우선 디지털 엔지니어링 솔루션 및 플랫폼 회사로, NVIDIA의 서비스 제공 파트너 중 하나입니다. 이들은 NeMo와 협력해 기업이 작업자 생산성을 높이기 위해 맞춤형 LLM을 구축할 수 있도록 지원하는 모듈식 생성 AI 솔루션인 바이오닉(baioniq)을 구축합니다. 퀀티파이 개발자 팀은 사용자가 비정형 텍스트와 이미지, 표에서 최신의 정보를 단 몇 초 내에 검색할 수 있는 도구를 개발하고 있습니다.
다크 데이터의 본격 활용
분석가들은 기업 데이터의 약 3분의 2가 활용되지 않는 것으로 추정합니다. 소위 ‘다크 데이터(Dark Data)’라고 불리는 이러한 데이터는 방대한 정보에서 의미 있는 인사이트를 얻기 어렵다는 이유로 활용되지 않죠. 이제 기업들은 NeMo를 사용하여 자연어 쿼리를 통해 다크 데이터로부터 인사이트를 얻을 수 있습니다.
NeMo는 모델이 처음에 학습한 기존 데이터 세트와 관계없이, 기업이 진화하는 지식 베이스를 학습하고 대응할 수 있는 모델을 구축할 수 있도록 지원합니다. 새로운 정보를 반영하기 위해 LLM을 재학습할 필요 없이, NeMo는 엔터프라이즈 데이터 소스를 활용해 최신 세부 정보를 가져올 수 있죠. 그리고 언어 처리와 텍스트 생성의 핵심 기능을 수정하지 않고도 추가 정보를 추가하여 모델의 지식 베이스를 확장할 수 있습니다.
또한 기업은 NeMo를 사용해 생성형 AI 애플리케이션이 정의된 전문 영역을 벗어난 주제에 대해 의견을 제공하지 않도록 가드레일을 구축할 수 있습니다.
기업용 생성형 AI 애플리케이션의 새로운 지평을 열다
기업들은 비즈니스 데이터로 LLM을 맞춤화하여 새로운 개발에 민첩하고 신속하게 대응하는 AI 애플리케이션을 만들 수 있습니다.
- 챗봇: 많은 기업들이 AI 챗봇을 도입해 웹사이트의 기본적인 고객 상호작용을 지원하고 있습니다. NeMo를 사용하면, 기업은 도메인에 특화된 가상 주제별 전문가를 구축할 수 있습니다.
- 고객 서비스: 기업은 최신 제품에 대한 세부 정보를 NeMo 모델에 업데이트하여, 라이브 서비스 담당자가 정확한 최신 정보로 고객의 문의에 보다 쉽게 답변할 수 있도록 지원할 수 있습니다.
- 엔터프라이즈 검색: 기업은 기술 문서, 회사 정책, IT 지원 문서 등 조직 전반에 걸친 풍부한 지식을 보유하고 있는데요. 직원들은 NeMo 기반 내부 검색 엔진을 쿼리(query)하여 더욱 빠르고 쉽게 정보를 검색할 수 있습니다.
- 시장 정보: 금융 산업은 글로벌 시장, 상장 기업 및 경제 동향에 대한 인사이트를 수집합니다. LLM을 정기적으로 업데이트하는 데이터베이스에 연결하면, 투자자와 기타 전문가들은 규제 문서, 실적 발표 녹취록 또는 재무제표와 같은 방대한 정보에서 유용한 세부 정보들을 빠르게 식별할 수 있습니다.
애플리케이션에 생성형 AI 기능 추가에 관심있는 기업은 여기에서 NeMo 서비스의 얼리 액세스를 신청할 수 있습니다.
GTC 2023의 키노트에서 NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)이 언급한 NVIDIA AI Foundations에 대한 내용을 확인해보세요.