금융 서비스 산업(FSI) 기업의 압도적인 91%가 혁신을 주도하고 운영 효율성을 개선하며 고객 경험을 향상하는 도구로 AI를 평가 중이거나 이미 도입하고 있습니다.
NVIDIA NIM 마이크로서비스 및 가속 컴퓨팅을 기반으로 하는 제너레이티브 AI는 포트폴리오 최적화, 사기 탐지, 고객 서비스 및 리스크 관리를 개선하는 데 도움이 될 수 있습니다.
이러한 기술을 활용하여 금융 서비스 애플리케이션을 강화하는 기업 중에는 최첨단 스타트업을 위한 NVIDIA 인셉션 프로그램의 멤버인 Ntropy, Contextual AI 및 NayaOne이 있습니다.
그리고 데이터의 안전한 사용과 생성형 AI를 위한 중앙 집중식 지능형 플랫폼을 제공하는 실리콘밸리 기반 스타트업 Securiti는 금융 서비스를 위한 AI 기반 코파일럿을 구축하는 데 NVIDIA NIM을 사용하고 있습니다.
지난 주 라스베이거스에서 열리는 선도적인 핀테크 컨퍼런스인 Money20/20에서 두 회사는 자사의 기술이 어떻게 은행, 핀테크, 결제 제공업체 및 기타 조직을 위한 실행 가능한 인사이트와 고급 혁신 기회로 이질적이고 복잡한 FSI 데이터를 전환할 수 있는지 시연하였습니다.
비정형 금융 데이터에 질서를 불어넣는 Ntropy
뉴욕에 본사를 둔 Ntropy는 금융 서비스 워크플로우에서 무질서, 무작위성, 불확실성 등 다양한 엔트로피 상태를 제거하는 데 도움을 주고 있습니다.
“돈이 A 지점에서 B 지점으로 이동할 때마다 은행 명세서, PDF 영수증 및 기타 형태의 거래 내역에 텍스트가 남습니다.”라고 Ntropy의 공동 창립자이자 CEO인 Naré Vardanyan은 밝혔습니다. “전통적으로 이러한 비정형 데이터는 정리하여 금융 애플리케이션에 사용하기가 매우 어려웠습니다.”
Ntropy의 거래 강화 애플리케이션 프로그래밍 인터페이스 (API)는 다양한 출처와 지역의 금융 데이터를 표준화하여 금융 서비스 애플리케이션이 기존 방식보다 무려 10,000배 낮은 비용으로도 단 몇 밀리초 만에 인간과 같은 정확도로 모든 거래를 이해할 수 있도록 지원하는 공통 언어 역할을 합니다.
이 솔루션은 NVIDIA H100 Tensor 코어 GPU에서 실행되는 Llama 3 NVIDIA NIM 마이크로서비스와 NVIDIA Triton 추론 서버를 기반으로 구축되었습니다. Ntropy는 Lama 3 NIM 마이크로서비스를 사용하여 네이티브 모델을 실행할 때보다 거대 언어 모델(LLM)의 활용률과 처리량을 최대 20배까지 향상시켰습니다.
선도적인 조달-지불 소프트웨어 플랫폼 제공업체인Airbase는 LLM과 Ntropy 데이터 강화기를 사용하여 거래 승인 프로세스를 향상시켰습니다.
Money20/20에서 Ntropy는 위험 감지 모델의 정확도를 개선하여 사기 탐지를 강화하는 고객 판매 데이터를 정리하는 데 API를 사용하는 방법에 대해 소개하였습니다. 이를 통해 잘못된 거래 거절과 매출 손실을 모두 줄일 수 있습니다.
또 다른 데모에서는 자동 대출 에이전트가 Ntropy API를 활용하여 은행 웹사이트의 정보를 분석하고 관련 투자 보고서를 생성하여 사용자의 대출 분산 및 의사 결정 프로세스를 가속화하는 방법을 소개하였습니다.
FSI를 위한 검색 증강 생성(RAG) 발전시키고 있는 Contextual AI
캘리포니아 마운틴뷰에 본사를 둔 Contextual AI는 검색 증강 생성 (RAG)을 기반으로 하는 프로덕션급 AI 플랫폼을 제공하며, 지식 집약적인 FSI 업계의 주요 활용 사례에서 엔터프라이즈 AI 애플리케이션을 구축하는 데 이상적입니다.
“RAG는 엔터프라이즈 AI를 프로덕션에 제공하기 위한 해답입니다.”라고 Contextual AI의 CEO 겸 공동 설립자인 Douwe Kiela는 밝혔습니다. “NVIDIA 기술과 거대 언어 모델을 활용하는 Contextual AI RAG 2.0 플랫폼은 운영을 최적화하고 새로운 AI 기반 제품을 제공하고자 하는 FSI 기업에게 정확하고 감지 가능한 AI를 제공할 수 있습니다.”
Contextual AI 플랫폼은 추출, 검색, 재순위 지정, 생성 등 전체 RAG 파이프라인을 단 몇 분 만에 배포할 수 있는 최적화된 단일 시스템으로 통합하고 고객의 필요에 따라 추가로 조정 및 특화하여 상황에 따라 달라지는 작업에서 훨씬 더 높은 정확도를 제공합니다.
HSBC는 Contextual AI를 사용하여 관련 시장 전망, 금융 뉴스 및 운영 문서를 검색하고 종합하여 리서치 인사이트와 프로세스 가이드 지원을 제공할 계획입니다. 다른 금융 기관들도 재무 분석, 정책 준수 보고서 생성, 재무 자문 쿼리 해결 등을 위해 Contextual AI의 사전 구축된 애플리케이션을 활용하고 있습니다.
예를 들어 사용자가 “2025년 4분기까지의 중앙은행 금리 전망은 어떻게 되나요?”라고 질문할 수 있습니다. Contextual AI 플랫폼은 소스의 특정 섹션에 대한 인용을 포함해 사실에 근거한 문서에 기반한 간단한 설명과 정확한 답변을 제공합니다.
Contextual AI는 LLM 추론 성능을 가속화하고 최적화하기 위해 NVIDIA Triton 추론 서버와 오픈 소스 NVIDIA TensorRT-LLM 라이브러리를 사용합니다.
NayaOne, 금융 서비스 혁신을 위한 디지털 샌드박스 제공
런던에 본사를 둔 NayaOne은 고객이 상업적으로 배포하기 전에 AI 애플리케이션을 안전하게 테스트하고 검증할 수 있는 AI 샌드박스를 제공합니다. 이 회사의 기술 플랫폼을 통해 금융 기관은 합성 데이터를 생성할 수 있으며, 수백 개의 핀테크 업체로 구성된 마켓플레이스에 액세스할 수 있습니다.
고객은 디지털 샌드박스를 사용하여 공정성, 투명성, 정확성 및 기타 규정 준수 조치를 위해 애플리케이션을 벤치마킹하고 최고의 성능과 성공적인 통합을 더 잘 보장할 수 있습니다.
“금융 서비스에서 AI 기반 솔루션에 대한 수요가 가속화되고 있으며, 엔비디아와의 협력을 통해 금융 기관은 통제되고 안전한 환경에서 생성형 AI의 힘을 활용할 수 있습니다.”라고 NayaOne의 CEO인 Karan Jain은 말했습니다. “저희는 금융 기관이 더 빠르고 효과적으로 프로토타입을 제작하여 실질적인 비즈니스 혁신과 성장 이니셔티브로 이어질 수 있는 생태계를 만들고 있습니다.”
NayaOne의 AI 샌드박스는 NVIDIA NIM 마이크로서비스를 사용하여 고객이 최적화된 AI 모델을 탐색 및 실험하고, 이를 보다 쉽게 배포할 수 있도록 지원합니다. NayaOne은 NVIDIA 가속 컴퓨팅을 통해 사기 탐지 모델에 사용되는 대규모 데이터세트를 최대 10배 빠르게 처리하며, 광범위한 CPU 기반 모델을 실행하는 것에 비해 인프라 비용을 최대 40% 절감할 수 있습니다.
디지털 샌드박스는 또한 오픈 소스 NVIDIA RAPIDS 데이터 사이언스 및 AI 라이브러리를 사용하여 자금 이동 애플리케이션에서 사기 탐지와 방지 기능을 가속화합니다. NVIDIA는 Money20/20의 NVIDIA AI Pavilion에서 디지털 샌드박스를 시연할 예정입니다.
AI 코파일럿으로 재무 계획을 개선한 Securiti
안전한 엔터프라이즈 AI 코파일럿, LLM 트레이닝과 튜닝 등 광범위한 생성형 AI 애플리케이션을 지원하는 Securiti의 매우 유연한 Data+AI 플랫폼은 사용자가 안전한 엔드투엔드 엔터프라이즈 AI 시스템을 구축할 수 있도록 지원합니다.
이 회사는 현재 NVIDIA NIM 기반 재무 계획 도우미를 구축하고 있습니다. 이 코파일럿 챗봇은 개인정보 보호 및 권한 정책을 준수하면서 다양한 금융 데이터에 액세스하여 사용자의 금융 관련 질문에 맥락에 맞는 답변을 제공합니다.
“은행은 데이터 보안, 개인정보 보호 및 규정 준수를 유지하면서 대규모로 개인화된 금융 조언을 제공하는 데 어려움을 겪고 있습니다.”라고 Securiti의 최고 데이터 책임자인 Jack Berkowitz는 말합니다. “강력한 데이터 보호와 안전하고 확장 가능한 지원을 위한 역할 기반 액세스를 통해 Securiti는 개인의 목표에 맞는 개인화된 금융 조언을 제공하는 안전한 AI 코파일럿을 구축하도록 지원합니다.”
챗봇은 수익 기록, 고객 프로필 및 계좌 잔액, 투자 리서치 문서 등 다양한 소스에서 데이터를 검색합니다. Securiti의 솔루션은 액세스 권한과 같은 제어를 유지하면서 고성능 NVIDIA 기반 LLM과 함께 사용할 수 있도록 안전하게 수집하고 준비합니다. 마지막으로, 간단한 소비자 인터페이스를 통해 사용자에게 맞춤형 응답을 제공합니다.
Securiti는 Llama 3 70B-Instruct NIM 마이크로서비스를 사용하여 LLM의 성능을 최적화하는 동시에 데이터의 안전한 사용을 보장했습니다. 이 기업은 Money20/20에서 생성형 AI 솔루션을 시연하였습니다.
NIM 마이크로서비스와 Triton 추론 서버는 NVIDIA AI Enterprise 소프트웨어 플랫폼을 통해 사용할 수 있습니다.
사기 탐지를 위한 NVIDIA AI 워크플로우에 대 확인해보세요.