울리크 한센(Ulrik Hansen)과 에릭 란다우(Eric Landau)는 기업들을 연결해주는 행사에서 만나 의기투합하게 됐습니다. 금융 거래 시스템 분야의 경험을 살려 데이터 라벨링 가속화 플랫폼을 만들기로 뜻을 모았죠.
이 금융계 베테랑들은 2020년에 엔코드(Encord) 사를 설립하고 금융 부문에서 흔히 쓰이는 마이크로모델(micromodel)을 데이터 주석(data annotation) 자동화에 응용하기 시작했습니다. 마이크로모델은 특정 과업에 맞춰 상대적으로 적은 양의 데이터로 훈련하기 때문에 배포에 소요되는 시간이 짧은 신경망입니다.
엔코드의 NVIDIA GPU 기반 서비스는 기업들의 수동 데이터 라벨링에 마이크로모델을 적용해 99% 자동화를 약속합니다.
이와 관련해 란다우는 “모든 것을 한꺼번에 담당하는 대규모 모델 하나를 만드는 대신 우리는 작은 모델들 여럿을 결합시키는 것뿐입니다. 이는 금융 거래 시스템 다수의 작동 방식과 매우 유사합니다”라고 설명하죠.
영국 런던에 본사를 둔 스타트업인 엔코드는 최근 시리즈 A 펀딩(Series A funding)으로 1,250만 달러를 확보했습니다.
엔코드는 NVIDIA Metropolis 파트너사이자 NVIDIA Inception의 회원사입니다. NVIDIA Inception은 AI와 데이터 사이언스, 고성능 컴퓨팅(HPC) 부문 스타트업을 대상으로 시장 진입 관련 지원과 전문성, 테크놀로지를 제공하는 프로그램이죠. NVIDIA Metropolis는 비디오 카메라와 센서에 AI 기반 영상 애널리틱스를 보다 효과적으로 결합해주는 애플리케이션 프레임워크입니다.
엔코드는 소화기내시경과 방사선, 열화상법, 스마트 시티, 농업, 자율 수송, 소매 부문의 기업들을 고객으로 유치하고 있습니다.
서지이즈의 진단 지원
지난 2021년에 한센과 란다우는 미국 캘리포니아 주 라구나 비치 근처에 위치한 란다우의 본가에 머물며 엔코드의 체계를 다지는 한편, 세계 최고의 명성을 자랑하는 스타트업 액셀러레이터인 와이 콤비네이터(Y Combinator)에 참여했습니다. 이때는 서지이즈(SurgEase)를 그들 최초의 고객사로 막 유치한 시점이기도 했죠.
런던에 기반을 둔 서지이즈는 소화기내과용 원격 인식 테크놀로지를 제공합니다. 이 기업의 하드웨어 장치와 소프트웨어는 대장내시경에서 캡처한 고화질 이미지와 영상을 의사들이 원격으로 모니터링할 수 있도록 지원합니다.
한센은 이를 “신흥 경제에서 질병 진단이나 감지를 수행할 의사를 확보하고, 더 나아가 미국 최고 병원 의사까지도 고용할 수 있는 방법”이라고 설명합니다.
서지이즈는 질병 감지용 AI 모델의 훈련에 영상 데이터를 적용해 진단을 개선하고 있습니다. 서지이즈의 모델에 사용되는 영상 데이터의 주석화에 엔코드의 마이크로모델들이 활용되죠. 목표는 진단을 수행하는 의사들에게 ‘제2의 눈’을 선사하는 것입니다.
파리드 이크발(Fareed Iqbal) 서지이즈 CEO는 엔코드의 소프트웨어가 “내시경을 활용한 병해평가에서 최대의 난제로 손꼽히는 문제들의 해결에 도움이 됐습니다”라고 평가합니다.
한센에 따르면, AI 기반 진단에 서지이즈를 활용하는 임상의들은 더 많은 특이사항을 더 빨리 발견하기 때문에 진단 과정에 수반되는 고통스러운 시술을 줄일 수 있습니다. 란다우는 의사들의 의견이 늘 일치하지는 않는 상황에서 서지이즈의 테크놀로지는 반대 의견과의 마찰을 줄이는 방법이 될 수도 있다고 설명합니다.
“의사들의 입장에서는 진정한 의미의 조력자가 생기는 셈이죠.”
런던 킹스 칼리지: 6배 가속
런던 킹스 칼리지(King’s College)는 전암성 용종(precancerous polyp) 영상의 이미지 주석화에 곤란을 겪고 있었습니다. 그처럼 거대한 데이터세트에 고도로 숙련된 임상의를 고용하려면 비용이 많이 들기 때문에 주석화를 자동화하고자 엔코드를 선택했죠.
엔코드의 마이크로모델을 도입한 결과 수동 라벨링보다 약 6.4배 빠르게 주석화를 진행할 수 있었습니다. 또한 주석 자동화로 데이터세트의 97%를 처리했는데요. 나머지는 임상의의 수동 라벨링을 요하는 부분이었죠.
엔코드의 테크놀로지에 힘입어 런던 킹스 칼리지는 모델 개발에 소요되는 시간을 1년에서 2개월로 단축하고 AI의 프로덕션 전환을 앞당길 수 있었습니다.
Triton: 신속한 추론
엔코드는 원래 자사 API 서버에서 구동되는 자체 추론 엔진을 구축할 생각이었습니다. 그러나 NVIDIA Triton을 도입하면 엔지니어링 시간을 크게 단축하고, 프로덕션 단계에 보다 신속히 진입할 수 있으리라 판단했죠.
NVIDIA Triton이 제공하는 오픈 소스 소프트웨어는 AI가 프로덕션 단계에 들어갈 수 있도록 모델들의 작동 방식을 단순화해 추론 유형을 불문하고 모든 형태의 프레임워크와 GPU, CPU에서 실행될 수 있도록 해줍니다.
또한 추론 엔진 아키텍처를 엔코드 자체적으로 구축할 필요가 없어 초기 고객사들에게 보다 집중할 수 있었죠.
한센은 “엔코드 플랫폼 사용자들은 마이크로모델의 훈련을 완료한 즉시 Triton을 활용해 추론을 실행할 수 있습니다”라고 말합니다.
“Triton을 통해 파이토치(PyTorch) 등의 머신 러닝 라이브러리 일체에 대한 네이티브 지원을 받을 수 있고, 이는 CUDA와도 호환이 가능합니다. 덕분에 우리는 정말 많은 시간과 번거로운 절차들을 줄일 수 있었습니다”