엔터프라이즈 AI에서 여러 언어를 이해하고 작업하는 것은 더 이상 선택 사항이 아니라 전 세계의 직원과 고객, 그리고 사용자들의 니즈를 충족시키기 위한 필수 요소입니다.
다국어 정보 검색(여러 언어에 걸쳐 지식을 검색, 처리 및 검색하는 기능)은 AI가 보다 정확하고 전 세계적으로 관련성이 높은 결과물을 제공하는 데 있어 핵심적인 역할을 합니다.
기업은 현재 NVIDIA API 카탈로그에서 제공되는 NVIDIA NIM 마이크로서비스를 임베딩하고 재랭크하는 NVIDIA NeMo Retriever를 사용하여 자사의 생성형 AI 개발 영역을 정교한 다국어 시스템으로 확장할 수 있습니다. 이러한 모델은 문서와 같은 다양한 언어와 형식의 정보를 이해하여 대규모로 정확한 컨텍스트 인식 결과를 제공할 수 있습니다.
이제 기업들은 NeMo Retriever를 사용할 수 있습니다:
- 대규모의 다양한 데이터 세트에서 지식을 추출하여 추가적인 컨텍스트를 확보하여 보다 정확한 응답을 제공합니다.
- 생성형 AI를 대부분의 주요 글로벌 언어로 된 엔터프라이즈 데이터에 원활하게 연결하여 사용자 오디언스를 확장시킵니다.
- 긴 컨텍스트 지원과 동적 임베딩 크기 조정과 같은 새로운 기술을 통해 35배 향상된 데이터 저장 효율성으로 더 큰 규모의 실행 가능한 인텔리전스를 제공합니다.
DataStax, Cohesity, Cloudera, Nutanix, SAP, VAST Data 그리고 WEKA와 같은 주요 NVIDIA 파트너들은 이미 이러한 마이크로 서비스를 채택하여 다양한 산업 분야의 조직들이 맞춤형 모델을 다양한 대규모 데이터 소스에 안전하게 연결할 수 있도록 지원하고 있습니다. 검색 증강 생성(RAG) 기술을 사용하는 NeMo Retriever는 AI 시스템이 더 풍부하고 관련성 높은 정보에 액세스하고 언어적, 문맥적 격차를 효과적으로 해소할 수 있게 해줍니다.
데이터 처리 속도를 30일에서 3일 이내로 단축시킨 Wikidata
Wikimedia는 DataStax와 협하여 수십억 명의 사용자에게 서비스를 제공하는 Wikipedia의 콘텐츠를 벡터 임베딩하기 위해 NeMo Retriever를 구현했습니다. 벡터 임베딩(Vector embedding) 또는 ‘벡터화’는 데이터를 AI가 처리하고 이해할 수 있는 형식으로 변환하여 인사이트를 추출하고 지능적인 의사 결정을 내릴 수 있도록 하는 프로세스입니다.
Wikimedia는 NeMo Retriever 임베딩 및 NIM 마이크로서비스 리랭킹(Reranking)를 사용해 30일이 걸리던 작업을 3일 만에 1,000만 개가 넘는 위키데이터 항목을 AI 지원 형식으로 벡터화했습니다. 10배의 속도 향상으로 세계 최대 규모의 오픈 소스 지식 그래프에 대한 확장 가능한 다국어 액세스가 가능해졌습니다.
이 획기적인 프로젝트는 수천 명의 기여자가 매일 편집하는 수십만 개의 항목에 대한 실시간 업데이트를 보장하여 개발자와 사용자 모두의 글로벌 접근성을 향상시킵니다. Astra DB의 서버리스 모델과 NVIDIA AI 기술을 통해 DataStax는 지연 시간이 거의 없고 뛰어난 확장성을 제공하여 위키미디어 커뮤니티의 역동적인 수요를 지원합니다.
DataStax는 또한 NVIDIA AI Blueprints 를 사용하고 NVIDIA NeMo Customizer, Curator, Evaluator 그리고 Guardrails 마이크로서비스를 LangFlow AI 코드 빌더에 통합하여 개발자 생태계가 각기 고유한 사용 사례에 맞게 AI 모델과 파이프라인을 최적화하고 기업이 AI 애플리케이션을 확장할 수 있도록 지원합니다.
언어를 포용하는 AI로 글로벌 비즈니스 영향력 확대
NeMo Retriever는 글로벌 기업들이 언어적, 상황적 장벽을 극복하고 데이터의 잠재력을 발휘할 수 있도록 지원합니다. 강력한 AI 솔루션을 배포함으로써 기업은 정확하고 확장 가능하며 영향력 있는 결과를 얻을 수 있습니다.
NVIDIA의 플랫폼 및 컨설팅 파트너는 기업이 새로운 다국어 NeMo Retriever 마이크로서비스와 같은 생성형 AI 기능을 효율적으로 채택하고 통합할 수 있도록 하는 데 중요한 역할을 합니다. 이러한 파트너는 AI 솔루션을 조직의 고유한 니즈와 리소스에 맞게 조정하여 생성형 AI의 접근성과 효율성을 높이는 데 도움을 줍니다. 여기에는 다음과 같은 것들 포함됩니다:
- Cloudera는 Cloudera AI 추론 서비스에서 NVIDIA AI의 통합을 확대할 계획입니다. 현재 NVIDIA NIM이 내장된 Cloudera AI 추론에는 다국어 사용 사례에 대한 인사이트의 속도와 품질을 개선하기 위해 NVIDIA NeMo Retriever가 포함될 예정입니다.
- Cohesity는 백업 데이터를 사용하여 통찰력 있는 답변을 제공하는 업계 최초의 생성형 AI 기반 대화형 검색 어시스턴트를 도입했습니다. 이 어시스턴트는 NVIDIA NeMo Retriever 재순위 지정 마이크로서비스를 사용하여 검색 정확도를 개선하고 다양한 애플리케이션에 대한 인사이트의 속도와 품질을 크게 향상시킵니다.
- SAP는 NeMo Retriever의 접지 기능을 사용하여 줄 부조종사 Q&A 기능과 사용자 지정 문서에서 검색된 정보에 컨텍스트를 추가하고 있습니다.
- VAST Data는 새로운 데이터를 즉시 분석에 사용할 수 있도록 하기 위해 NVIDIA와 함께 VAST Data InsightEngine에 NeMo Retriever 마이크로서비스를 배포하고 있습니다. 이를 통해 AI 기반 의사 결정을 위한 실시간 정보를 캡처하고 정리하여 비즈니스 인사이트를 빠르게 파악할 수 있습니다.
- WEKA는 초당 수십만 개의 토큰을 처리하는 확장 가능한 멀티모달 AI 솔루션을 제공하기 위해 WEKA AI RAG 레퍼런스 플랫폼(WARRP) 아키텍처와 NVIDIA NIM 및 NeMo Retriever를 저지연 데이터 플랫폼에 통합하고 있습니다.
다국어 정보 검색으로 언어의 장벽을 허물다
엔터프라이즈 AI가 고객의 실제 니즈를 충족하려면 다국어 정보 검색이 필수적입니다. NeMo Retriever는 여러 언어와 언어 간 데이터 세트에서 효율적이고 정확한 텍스트 검색을 지원합니다. 검색, 질의응답, 요약 및 추천 시스템과 같은 다양한 엔터프라이즈 사용 사례를 위해 설계되었습니다.
또한 엔터프라이즈 AI의 중요한 과제인 대량의 문서 처리 문제 역시 해결해줍니다. 새로운 마이크로서비스는 긴 컨텍스트 지원을 통해 긴 계약서나 상세한 의료 기록을 처리하는 동시에 확장된 상호 작용에서 정확성과 일관성을 유지할 수 있습니다.
이러한 기능은 기업이 데이터를 보다 효과적으로 사용하여 직원, 고객, 사용자에게 정확하고 신뢰할 수 있는 결과를 제공하는 동시에 확장성을 위해 리소스를 최적화시키는 데 도움이 됩니다. NeMo Retriever와 같은 고급 다국어 검색 도구는 글로벌화된 세계에서 AI 시스템의 적응력과 접근성, 영향력을 높일 수 있습니다.
사용 방법
개발자는 NVIDIA API 카탈로그 또는 무료 90일 NVIDIA AI 엔터프라이즈 개발자 라이선스를 통해 다국어 NeMo Retriever 마이크로서비스와 기타 정보 검색을 위한 NIM 마이크로서비스에 액세스할 수 있습니다.
새로운 NeMo Retriever 마이크로서비스와 이를 사용하여 효율적인 정보 검색 시스템을 구축하는 방법에 대해 자세히 알아보세요.