1956년에 마일즈 데이비스 퀸텟(Miles Davis Quintet)은 프레스티지 레코드 사의 스튜디오에서 라이브 연주를 녹음하고 있었습니다.
엔지니어가 다음 곡의 제목을 묻자 데이비스는 “일단 연주를 해봐야 뭐가 될지 안다”고 쏘아붙였다고 하죠.
이 다작의 재즈 트럼펫 연주자 겸 작곡가가 그랬듯 오늘날의 연구자들도 엄청난 속도로 AI 모델들을 생성하며 새로운 아키텍처와 활용 사례를 탐구합니다. 자신은 새 분야의 개척에 집중하면서 범주화 작업은 다른 이들의 손에 맡기기도 하는데요.
100명이 넘는 스탠퍼드 연구자로 구성된 팀이 이 작업을 맡아 2021년 여름에 214페이지 분량의 논문을 발표했습니다.
이 논문에서 연구자들은 트랜스포머(transformer) 모델과 대규모 언어 모델(LLM), 구축이 계속되고 있는 기타 신경망들이 일명 파운데이션 모델(foundation model)이라는 새롭고 중요한 범주를 구성한다고 분석했습니다.
파운데이션 모델의 정의
논문에 따르면 파운데이션 모델은 산더미 같은 원시 데이터에서 대개 비지도 학습(unsupervised learning)을 통해 훈련된 AI 신경망으로, 광범위한 작업에 응용이 가능합니다.
연구자들은 “지난 몇 년 동안 발전을 거듭한 파운데이션 모델의 규모와 범위가 우리 상상력의 한계를 지속적으로 넓혀 왔다”고 평가했습니다.
파운데이션 모델을 정의할 때는 다음의 두 가지 개념을 기억하면 좋습니다. 바로 ‘더 쉬운 데이터 수집’과 ‘지평선만큼 광활한 가능성’입니다.
노 레이블링, 무한한 가능성
파운데이션 모델은 일반적으로 레이블(label)이 없는 데이트세트로 학습하므로 대규모 컬렉션에서 각각의 항목을 수동으로 분류하는 데 드는 시간과 비용을 절약할 수 있습니다.
초기의 신경망은 구체적인 작업에 맞춰 협소하게 조정되어 있습니다. 약간의 미세 조정을 통해 텍스트 번역에서 의료 이미지 분석에 이르는 다양한 작업을 처리할 수 있게 됩니다.
파운데이션 모델 연구 센터의 웹사이트에 게시한 글에서 연구팀은 파운데이션 모델이 “인상적인 양상”을 보이며 규모별로 배포되고 있다고 전했습니다. 센터의 연구자들이 공개한 파운데이션 모델 관련 논문만 벌써 50개가 넘습니다.
센터의 책임을 맡고 있는 퍼시 리앙(Percy Liang)은 첫 파운데이션 모델 워크숍에서 “미래의 파운데이션 모델이 가진 가능성은 고사하고 기존의 파운데이션 모델이 가진 역량 중에서도 극히 일부만이 조명되고 있을 뿐”이라고 말했습니다.
AI의 출현과 균질화
이 워크숍에서 리앙 센터장은 두 개의 용어로 파운데이션 모델을 설명했습니다.
‘출현(Emergence)’은 파운데이션 모델의 여러 초기 기능처럼 아직 규명이 한창인 AI 기능들을 뜻합니다. AI 알고리즘과 모델 아키텍처의 혼합은 ‘균질화(homogenization)’라 부르는데, 이는 파운데이션 모델의 형성에 도움이 된 하나의 트렌드이기도 합니다(아래 도식 참고).
파운데이션 모델 분야는 빠르게 움직이고 있습니다.
스탠퍼드 팀이 파운데이션 모델을 정의하고 1년 뒤에 또다른 테크놀로지 전문가들이 생성형 AI(generative AI)라는 용어를 만들었습니다. 생성형 AI는 텍스트와 이미지, 음악, 소프트웨어로 사람들의 상상력을 캡처하는 트랜스포머 모델과 대규모 언어 모델 등의 신경망을 포괄적으로 일컫는 용어입니다.
벤처 기업인 세쿼이아 캐피탈(Sequoia Capital)의 경영진은 최근 AI 팟캐스트(AI Podcast)에 출연해 생성형 AI가 수조 달러 규모의 경제적 가치를 창출할 잠재력을 가졌다고 설명했습니다.
파운데이션 모델의 간략한 역사
구글 브레인의 수석 연구원으로 2017년 트랜스포머 논문의 연구를 이끈 아시시 바스와니(Ashish Vaswani)는 지금 우리가 “신경망과 같은 간단한 기법이 새로운 가능성의 폭발로 이어지는 시대에 살고 있다”고 말합니다.
바스와니 팀의 연구는 BERT 등의 대규모 언어 모델에 영감을 주었고, AI 관련 논문의 표현을 빌리자면 ‘2018년을 자연어 처리의 분수령으로’ 만들었습니다.
구글이 BERT를 오픈 소스 소프트웨어로 출시했고, 이는 후속 제품군의 탄생으로 이어졌으며, 더 크고 강력한 언어 모델을 구축하기 위한 경쟁이 시작됐습니다. 다음으로 구글은 BERT 테크놀로지를 검색 엔진에 적용해 사용자가 간단한 문장의 형태로 질문할 수 있게 했죠.
2020년에 오픈AI(OpenAI)의 연구진은 또 하나의 기념비적인 트랜스포머 모델인 GPT-3를 발표했습니다. 이 모델은 곧장 시와 프로그램, 노래와 웹사이트 등의 구축에 활용되기 시작했습니다.
해당 연구진은 논문에서 “언어 모델은 다양하고 유익한 애플리케이션으로 사회에 기여한다”고 평가했습니다.
오픈AI의 연구는 또한 트랜스포머 모델들이 얼마나 크고 연산 집약적일 수 있는지 보여줬습니다. GPT-3는 1조 개에 가까운 단어를 포함한 데이터세트로 훈련되었고, 신경망의 성능과 복잡성을 측정하는 핵심 척도인 파라미터의 수가 무려 1,750개에 달합니다.
퍼시 리앙은 관련 팟캐스트에서 GPT-3를 두고 “이 모델이 할 수 있는 것들을 알고 굉장히 놀랐던 기억이 있다”고 말하기도 했습니다.
가장 최근의 ChatGPT는 NVIDIA GPU 1만 개로 훈련했으며, 두 달만에 1억 명 이상의 사용자를 확보하는 저력을 보여줬습니다. 이 모델의 출시는 관련 테크놀로지의 활용법을 많은 이들에게 선보였다는 점에서 ‘아이폰 모멘트(iPhone moment)’라고도 불립니다.
텍스트에서 이미지로
ChatGPT가 데뷔하던 즈음, 또다른 차원의 신경망인 확산 모델(diffusion model)이 큰 인기를 끌었습니다. 텍스트로 된 설명을 예술적인 이미지로 바꾸는 확산 모델은 놀라운 이미지들로 소셜 미디어에서 입소문을 타면서 일반 사용자와도 친숙해졌습니다.
확산 모델을 다룬 최초의 논문은 2015년에 조용히 발표됐습니다. 하지만 트랜스포머 모델들이 그랬듯 이 기법도 이내 열광적인 관심에 휩싸였죠.
옥스퍼드 대학에서 AI를 연구하는 제임스 손턴(James Thornton)에 따르면 작년 한 해에만 200개가 넘는 확산 모델 관련 연구가 발표됐습니다.
미드저니(Midjourney)의 데이비드 홀즈(David Holz) CEO는 트위터에 게시한 글에서 자사의 확산 모델 기반 텍스트 이미지 변환 서비스가 440만 명 이상의 사용자를 보유하고 있다고 밝혔습니다. 그는 한 인터뷰(로그인 필요)에서 이 서비스의 AI 추론에 1만 개 이상의 NVIDIA GPU가 활용된다고 말한 바 있습니다.
활발한 사용
지금 사용이 가능한 파운데이션 모델은 수백 개에 달합니다. 한 논문에서 목록화하고 분류한 주요 트랜스포머 모델은 50개가 넘습니다(아래 표 참고).
스탠퍼드 연구팀은 30개의 파운데이션 모델을 벤치마킹하면서 관련 분야의 진화가 너무 빨라 새롭고 눈에 띄는 일부 모델은 검토하지 않겠다고 밝히기도 했습니다.
최첨단 스타트업을 육성하는 NVIDIA Inception 프로그램의 회원인 NLP 클라우드(NLP Cloud)는 항공사와 약국 등에 제공하는 상용 서비스에 25개의 언어 모델을 사용하고 있습니다. 전문가들은 더 많은 수의 파운데이션 모델들이 허깅 페이스(Hugging Face)의 모델 허브 같은 사이트에서 오픈 소스로 만들어질 것이라 내다보고 있습니다.
파운데이션 모델들 또한 규모와 복잡성이 증가하고 있습니다.
이를 극복하고자 많은 기업들은 새로운 모델을 아예 처음부터 구축하기보다 커스터마이징을 마친 사전 훈련 파운데이션 모델을 도입해 AI로의 여정을 가속하고 있습니다.
클라우드의 파운데이션 모델
한 벤처 캐피털 회사가 광고 생성과 시맨틱 검색 등의 부문에서 정리한 생성형 AI 활용 사례는 33개에 달합니다.
주요 클라우드 서비스들도 파운데이션 모델을 사용해 왔습니다. 마이크로소프트 애저(Microsoft Azure)의 경우, NVIDIA와 협업을 통해 번역 서비스용 트랜스포머 모델을 구축했습니다. 이는 재난구조팀이 7.0 규모의 지진에 대처하며 아이티프랑스어를 이해하는 데 도움을 줬죠.
2월에 마이크로소프트는 챗GPT(ChatGPT)와 관련 테크놀로지로 브라우저와 검색 엔진의 성능을 향상한다는 계획을 발표하면서 “우리는 이 툴들을 웹의 AI 부조종사로 생각합니다”고 덧붙였습니다.
구글은 실험적 대화형 AI 서비스인 바드(Bard)를 발표했습니다. 구글의 여러 제품들을 LaMDA와 PaLM, Imagen, MusicLM 등의 파운데이션 모델과 연결할 계획입니다.
이와 관련해 구글은 자사 블로그에 “AI는 오늘날 우리가 연구하는 가장 심오한 테크놀로지”라고 썼습니다.
대표 스타트업들
재스퍼(Jasper)는 VM웨어(VMware) 같은 기업의 카피를 쓰는 제품으로 연간 7,500만 달러의 매출을 기대합니다. 재스퍼를 선두로 한 텍스트 생성 부문에서는 NVIDIA Inception 회원인 라이터(Writer) 등 12개가 넘는 기업들이 경쟁하고 있습니다.
이 분야의 Inception 회원인 도쿄 린나(rinna)가 만든 챗봇은 수백 만의 일본인이 사용합니다. 텔아비브의 탭나인(Tabnine)은 전세계 개발자 백만 명을 대상으로 이들이 쓰는 코드를 최대 30%까지 자동화하는 생성형 AI 서비스를 제공합니다.
헬스케어 플랫폼
스타트업 에보자인(Evozyne)의 연구자들은 NVIDIA BioNeMo의 파운데이션 모델을 사용해 단백질 2종을 새로 생성했습니다. 하나는 희귀병을 치료하고, 다른 하나는 대기 중의 탄소 포집에 활용됩니다.
신약 개발용 생성형 AI를 위한 소프트웨어 플랫폼 겸 클라우드 서비스인 BioNeMo는 맞춤형 생체 분자 AI 모델의 추론과 배포를 실행할 툴을 제공합니다. 여기에는 NVIDIA와 아스트라제네카(AstraZeneca)가 개발한 화학용 생성형 AI 모델인 MegaMolBART가 포함돼 있습니다.
아스트라제네카의 분자 AI와 개발 과학, R&D 부문의 책임자 올라 엥크비스트(Ola Engkvist)는 이 프로젝트를 발표하면서 “AI 언어 모델이 문장 내 단어들의 관계를 학습하듯, 분자 구조 데이터로 훈련한 신경망이 실제 분자 속 원자들의 관계를 학습하는 게 목표”라고 말했습니다.
플로리다 대학교의 학술 보건 센터는 NVIDIA의 연구자들과 협업해 GatorTron을 만들었습니다. 이 대규모 언어 모델은 방대한 양의 임상 데이터에서 도출하는 인사이트로 의학 연구를 가속할 계획입니다.
스탠퍼드 소속의 한 센터에서는 최신 확산 모델을 고급 의료 이미징에 적용합니다. NVIDIA는 또한 헬스케어 기업과 병원들이 의료 이미징에 AI를 활용해 치명적인 질병의 진단을 가속하도록 지원합니다.
비즈니스 AI의 토대
또 하나의 새로운 프레임워크인 NVIDIA NeMo Megatron은 어느 기업이든 수십억 혹은 수조 개의 파라미터를 가진 트랜스포머 모델을 구축해 맞춤형 챗봇과 개인 어시스턴트 등의 다양한 애플리케이션을 개발할 수 있게 돕습니다.
NVIDIA NeMo Megatron은 5,300억 개의 파라미터를 가진 MT-NLG(Megatron-Turing Natural Language Generation) 모델을 생성해 작년 NVIDIA GTC의 키노트에 등장했던 Toy Jensen 아바타를 구동했습니다.
NVIDIA Omniverse 같은 3D 플랫폼과 연동된 파운데이션 모델은 인터넷의 3D 진화라 할 메타버스의 개발 간소화에 핵심적 역할을 수행할 전망입니다. 이 모델들은 엔터테인먼트와 산업 부문 사용자들의 애플리케이션과 에셋에도 힘을 실어줄 것으로 기대를 모습니다.
여러 공장과 창고에서는 사실적 시뮬레이션을 통해 보다 효율적인 작업 방식을 찾도록 도와주는 디지털 트윈에 파운데이션 모델을 적용하고 있습니다.
파운데이션 모델은 공장과 물류 센터에서 인간을 보조하는 로봇과 자율주행 자동차의 훈련을 보다 쉽게 만들어줍니다. 또한 아래 영상과 같이 사실적인 환경을 생성해 자율주행 차량의 훈련을 지원하기도 합니다.
파운데이션 모델의 활용법들이 매일같이 새롭게 개발되면서 여러 과제들 또한 등장하고 있습니다.
파운데이션 모델과 생성형 AI 모델을 다룬 연구들은 다음과 같은 문제를 지적합니다.
- 모델 훈련에 사용되는 방대한 데이터세트에 내재된 편향성(bias) 증폭
- 이미지 또는 영상에 부정확하고 오해의 소지가 있는 정보를 포함시키는 현상
- 기존 작업물의 지적 재산권 침해
파운데이션 모델을 다룬 스탠퍼드 논문에서는 “이 모델들이 미래 AI 시스템의 주축이 될 가능성이 높은 상황에서 관련 공동체가 합심해 보다 엄격한 원칙들을 준비하는 한편, 책임 있는 개발과 배포를 위한 지침을 마련해야 한다”고 강조했습니다.
현재 구상 중인 안전 보장 조치에는 프롬프트와 아웃풋 필터링, 모델의 즉각적인 재조정(recalibrating), 대규모 데이터세트의 정제(scrubbing) 등이 있습니다.
NVIDIA의 응용 딥 러닝 리서치 부문 부사장 브라이언 카탄자로(Bryan Catanzaro)는 “연구 공동체도 현재 이러한 문제들을 고민하고 있습니다. 파운데이션 모델들을 진정으로 폭넓게 배포하려면 안전성에 어마어마한 투자를 해야 합니다”고 말합니다.
이처럼 새로운 또 하나의 분야를 개척하며 AI 연구자와 개발자들은 미래를 만들어갑니다.