데이터는 AI 애플리케이션의 원동력이지만, 기업 데이터의 규모와 방대함으로 인해 이를 효과적으로 활용하기에는 비용과 시간이 너무 많이 소요되는 경우가 많습니다.
IDC의 Global DataSphere1에 따르면 2028년까지 기업은 29제타바이트의 고유 데이터 생성을 포함하여 매년 317제타바이트의 데이터를 생성할 것이며, 이 중 78%가 비정형 데이터, 44%가 오디오 및 비디오가 될 것이라고 합니다. 데이터의 양이 매우 많고 데이터 유형이 다양하기 때문에 대부분의 생성형 AI 애플리케이션은 저장 및 생성되는 총 데이터의 일부만을 사용합니다.
기업이 AI 시대에 성공하려면 모든 데이터를 활용할 수 있는 방법을 찾아야 합니다. 이는 기존의 컴퓨팅 및 데이터 처리 기술로는 불가능합니다. 대신 기업에는 AI 쿼리 엔진이 필요합니다.
AI 쿼리 엔진이란 무엇인가요?
간단히 말해, AI 쿼리 엔진은 AI 애플리케이션 또는 AI 에이전트를 데이터에 연결하는 시스템입니다. 이는 조직의 지식 기반과 AI 기반 애플리케이션 사이의 가교 역할을 하여 보다 정확하고 상황에 맞는 응답을 가능하게 하는 에이전틱 AI의 핵심 구성 요소입니다.
AI 에이전트는 정보를 수집하고 인간 직원을 지원하기 위한 작업을 수행할 수 있는 AI 쿼리 엔진의 기초를 형성합니다. AI 에이전트는 다양한 데이터 소스에서 정보를 수집하고, 계획하고, 추론하고, 조치를 취합니다. AI 에이전트는 사용자와 소통할 수도 있고, 백그라운드에서 작업하면서 사람의 피드백과 상호작용을 항상 이용할 수 있습니다.
실제로 AI 쿼리 엔진은 대량의 데이터를 효율적으로 처리하고 지식을 추출 및 저장하며 해당 지식에 대해 시맨틱 검색을 수행하여 AI가 빠르게 검색하고 사용할 수 있도록 하는 정교한 시스템입니다.
비정형 데이터에서 인텔리전스를 찾아내는 AI 쿼리 엔진
기업의 AI 쿼리 엔진은 다양한 형식으로 저장된 지식에 액세스할 수 있지만, 비정형 데이터에서 인텔리전스를 추출할 수 있다는 것은 가장 중요한 발전 중 하나입니다.
인사이트를 생성하기 위해 기존의 쿼리 엔진은 관계형 데이터베이스와 같은 정형화된 쿼리와 데이터 소스에 의존합니다. 사용자는 SQL과 같은 언어를 사용하여 정확한 쿼리를 작성해야 하며, 결과는 미리 정의된 데이터 형식으로 제한됩니다.
반면, AI 쿼리 엔진은 정형, 반정형, 비정형 데이터를 처리할 수 있습니다. 일반적인 비정형 데이터 형식은 PDF, 로그 파일, 이미지 및 비디오이며 개체 저장소, 파일 서버 및 병렬 파일 시스템에 저장됩니다. AI 에이전트는 자연어를 사용하여 사용자 및 서로 소통합니다. 이를 통해 다양한 데이터 소스에 액세스하여 사용자의 의도가 모호한 경우에도 이를 해석할 수 있습니다. 이러한 에이전트는 사용자가 결과를 해석할 수 있도록 대화 형식으로 결과를 제공할 수 있습니다.
이 기능을 사용하면 행과 열에 깔끔하게 들어맞는 데이터뿐만 아니라 모든 유형의 데이터에서 더 많은 인사이트와 인텔리전스를 도출할 수 있습니다.
예를 들어, DataStax와 NetApp 같은 회사는 고객이 차세대 애플리케이션을 위한 AI 쿼리 엔진을 보유할 수 있도록 지원하는 AI 데이터 플랫폼을 구축하고 있습니다.
AI 쿼리 엔진의 주요 특징
AI 쿼리 엔진은 몇 가지 중요한 기능을 갖추고 있습니다:
- 다양한 데이터 처리: AI 쿼리 엔진은 텍스트, PDF, 이미지, 동영상 및 특수 데이터 유형을 포함한 여러 소스의 정형, 반정형 및 비정형 데이터를 비롯한 다양한 데이터 유형에 액세스하고 처리할 수 있습니다.
- 확장성: AI 쿼리 엔진은 페타바이트 규모의 데이터를 효율적으로 처리할 수 있어 모든 엔터프라이즈 지식을 AI 애플리케이션에 빠르게 제공할 수 있습니다.
- 정확한 검색: AI 쿼리 엔진은 여러 소스의 지식에 대해 높은 정확도의 고성능 임베딩, 벡터 검색 및 순위 재지정을 제공합니다.
- 지속적인 학습: AI 쿼리 엔진은 AI 기반 애플리케이션의 피드백을 저장하고 통합하여, 피드백을 통해 모델을 개선하고 시간이 지남에 따라 애플리케이션의 효율성을 높이는 데 사용되는 AI 데이터 플라이휠을 생성할 수 있습니다.
검색 증강 생성은 AI 쿼리 엔진의 구성 요소입니다. RAG는 생성 AI 모델의 강력한 기능을 사용하여 데이터에 대한 자연어 인터페이스 역할을 함으로써 응답 생성 프로세스 중에 모델이 대규모 데이터 세트의 관련 정보에 액세스하고 통합할 수 있도록 합니다.
모든 기업이나 기타 조직은 RAG를 사용해 기술 정보, 정책 매뉴얼, 동영상 및 기타 데이터를 유용한 지식 베이스로 전환할 수 있습니다. 그런 다음 AI 쿼리 엔진은 이러한 소스를 사용하여 고객 관계, 직원 교육 및 개발자 생산성 등의 영역을 지원할 수 있습니다.
추가적인 정보 검색 기술과 지식 저장 방법이 연구 개발 중이므로 AI 쿼리 엔진의 기능은 빠르게 발전할 것으로 예상됩니다.
AI 쿼리 엔진의 파급 효과
기업은 AI 쿼리 엔진을 사용하여 AI 에이전트의 성능을 최대한 활용하여 인력을 방대한 양의 기업 지식에 연결하고, AI가 생성한 응답의 정확성과 관련성을 개선하고, 이전에 활용되지 않았던 데이터 소스를 처리 및 활용하고, AI 애플리케이션을 지속적으로 개선하는 데이터 기반 AI 플라이휠을 생성할 수 있습니다.
예를 들어 연중무휴 개인화된 고객 서비스 경험을 제공하는 AI 가상 비서, 동영상 검색 및 요약 AI 에이전트, 소프트웨어 취약점 분석을 위한 AI 에이전트 또는 AI 연구 도우미 등이 있습니다.
원시 데이터와 AI 기반 애플리케이션 간의 격차를 해소하는 AI 쿼리 엔진은 조직이 데이터에서 가치를 추출하는 데 중요한 역할을 담당하게 될 것입니다.
NVIDIA 블루프린트는 기업이 데이터에 AI를 연결하기 시작하는 데 도움을 줄 수 있습니다. NVIDIA Blueprint에 대해 자세히 알아보고 NVIDIA API 카탈로그에서 사용해 보세요.
- IDC, Global DataSphere Forecast, 2024.