AI를 설명하는 AI, “모델의 투명성을 높인다”

기업의 AI 모델 이해와 소비자 의문 해소를 위해 ‘설명 가능한 AI’ 개발하는 스타트업
by NVIDIA Korea

여러분의 온라인 대출 신청이 방금 막 아무 설명도 없이 거절됐습니다. 속을 알 수 없는 AI의 세계에 오신 걸 환영합니다.

다양한 분야의 기업들이 데이터를 활용한 의사 결정의 자동화를 위해 AI로 눈을 돌리고 있습니다. 여기서 문제는 AI 애플리케이션을 활용하는 소비자들이 의사 결정 자동화의 작동 방식을 알 수 없다는 점인데요. 기업의 직원들 또한 AI의 내적 운영 방식을 고객에게 어찌 설명할지 감을 잡지 못하는 형편이죠.

피들러 랩스(Fiddler Labs)가 바로 이 부분을 바꿔보려고 합니다.

미국 샌프란시스코에 본사를 둔 이 스타트업은 각 기업이 자사의 AI 제품을 설명, 모니터링, 분석할 수 있는 ‘설명 가능한 AI(explainable AI)’ 플랫폼을 제공합니다.

설명 가능한 AI를 향한 기업들의 관심은 날로 증가하고 있는데요. 엔지니어링 이외 분야의 기업들도 종종 자사 AI 모델의 작동 방식을 이해할 필요가 생기기 때문이죠.

설명 가능한 AI를 사용하는 은행들의 경우, 한도 초과된 신용카드나 높은 총부채상환비율 등 모델에 입력된 데이터 포인트를 바탕으로 고객에게 대출 거절 사유를 제공합니다. 내부적으로는 마케팅 담당자가 고객에게 영향을 미치는 데이터 포인트를 더 많이 파악해 고객과 제품 관련 전략을 수립할 수 있게 됩니다.

피들러 랩스의 아누샤 세투라만(Anusha Sethuraman) 제품 마케팅 책임자는 설명 가능한 AI가 “모델의 구축을 담당하는 전문 데이터 사이언티스트들과 의사 결정에 모델을 사용하는 경영팀 사이의 간극을 메우는 역할을 한다”고 평가합니다.

피들러 랩스는 NVIDIA Inception의 회원사이기도 합니다. Inception은 AI와 데이터 사이언스 분야의 기업들에 기본적인 툴과 전문성, 마케팅 기회를 제공하고 신속한 시장 진출을 돕는 프로그램입니다.

설명 가능한 AI란?

설명 가능한 AI는 AI 모델 내부의 계산을 탐색할 수 있게 돕는 툴과 기법의 집합을 의미합니다. 모델이 데이터 아웃풋을 내놓기까지 사용한 입력 데이터와 그 가중치를 정리해 보여주죠.

이에 따라 보통의 눈에는 보이지 않는 AI의 내부에서 불투명하게 진행되는 프로세스들을 비전문가도 탐구할 수 있게 됩니다. 결과적으로는 모델이 결정을 내리기까지의 과정과 그 이유를 이해할 인사이트를 도출할 수 있습니다.

세투라만은 “프로덕션급 AI로 가는 길을 가로막는 장애물의 제거 방안으로 설명 가능성이 고려되고 있습니다”고 말합니다.

하지만 여러 모델이 조합되어 사용되는 경우가 많아 설명 가능성의 확보 역시 쉽지 않습니다.

피들러 랩스의 CEO 겸 공동 창립자인 크리시나 게이드(Krishna Gade)는 현재 이 문제의 해결에 주력하고 있는데요. 그는 과거에 페이스북 팀을 이끌며 “이 게시물이 표시된 이유” 기능을 구축하고, 고객과 직원들이 페이스북 뉴스피드 내 AI의 작동 방식을 이해하도록 도운 바 있죠.

게이드와 그의 미네소타대학교 동기인 아미트 파카(Amit Paka)는 각자의 직장을 그만두고 합심해 피들러 랩스를 창립했습니다. 최고 제품 책임자를 맡고 있는 파카는 쇼핑 추천 애플리케이션을 다루면서 이 AI 추천 모델의 작동 방식에 대한 이해는 부족했던 삼성에서의 개인적인 경험에 자극받았다고 하네요.

투명성을 위한 설명 가능성

2018년에 설립된 피들러 랩스는 설명 가능성을 바탕으로 기업의 투명성을 강화합니다. 세투라만에 따르면 데이터와 설명 가능한 AI, 인간의 감독을 결합해 기업이 정보에 입각한 결정을 보다 효과적으로 내릴 수 있게 지원합니다.

현재 피들러의 테크놀로지는 AI 기반 취업사이트인 하이어드(Hired)에 적용되고 있습니다. 하이어드의 AI 모델들이 어떻게 작동 중인지 실시간으로 보고하고, 지원자 평가와 관련한 설명을 생성하며, 편향(bias)의 모니터링 결과를 피드백으로 제공합니다. 이를 바탕으로 하이어드는 자사 AI를 평가하죠.

설명 가능한 AI는 소비자 핀테크(fintech) 애플리케이션에 신속히 도입될 필요가 있습니다. 이를 통해 고객 서비스 담당자는 대출 거절이나 로보(robo) 시스템 설정 금리 등 자동으로 내려진 금융 관련 결정을 설명하고 과정의 투명성을 확보해 신뢰도를 높이게 됩니다.

이 같은 설명에 사용되는 알고리즘에는 많은 프로세스가 요구됩니다. 세투라만은 NVIDIA 클라우드 GPU를 사용해 이들을 구현하고 있으며, CPU로는 관련 작업을 감당할 수 없다고 전합니다.

“설명을 30초씩이나 기다려주는 이는 없습니다. 활용 사례에 따라 달라지는 수많은 문제들에 대한 설명이 밀리초(millisecond) 내에 제공돼야 합니다.”

이미지 제공: 에밀리 모터(Emily Morter), 업플래시 포토 커뮤니티(Unsplash Photo Community).