GTC 2023에서 NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 오픈AI(OpenAI) 공동 설립자인 일리야 수츠케버(Ilya Sutskever)와 함께 현대 AI가 어떻게 시작됐고, 현재 위치는 어디인지, 앞으로 나아가야 할 방향은 무엇인지에 대해 노변 담화를 진행했습니다.
이 대담은 수츠케버가 공동 설립한 연구 회사인 오픈AI에서 지금까지 가장 강력한 AI 모델인 GPT-4를 출시한 다음 날 녹화됐는데요.
그들은 GPT-4와 챗GPT(ChatGPT)를 포함한 그 이전 버전에 대해 자세히 이야기했습니다. 이 생성형 AI 모델은 출시된 지 몇 달 밖에 되지 않았지만, 이미 역사상 가장 인기 있는 컴퓨터 애플리케이션이 됐죠.
두 사람은 수억 명의 사용자의 상상력을 사로잡고 있는 심층 신경망의 기능, 한계, 내부 작동 방식에 대해 이야기를 나눴습니다.
수츠케버는 “챗GPT와 비교했을 때, GPT-4는 여러 측면에서 상당한 개선이 이루어졌으며, 새 모델은 텍스트뿐만 아니라 이미지도 읽을 수 있습니다”고 언급했습니다.
그는 “향후 버전에서는 [사용자]가 응답으로 다이어그램을 돌려받을 수도 있을 것”이라며 질문에 답변했죠.
GPT의 내막
젠슨 황은 “챗GPT가 하나의 큰 언어 모델이라는 오해가 있지만, 그 안에는 여러 시스템이 존재한다”라고 말했습니다.
이러한 복잡성을 반영하듯 수츠케버는 오픈AI가 두 단계의 학습을 사용한다고 말했죠.
첫 번째 단계는 일련의 다음 단어를 정확하게 예측하는 데 중점을 둡니다. 수츠케버는 “신경망이 학습하는 것은 텍스트를 생성한 과정의 일부이며, 이는 세상을 투영한 것”이라고 말했습니다.
더불어 그는 “두 번째는 가드레일을 포함해 우리가 원하는 것을 신경망에 전달하여 더 신뢰할 수 있고 정확해지도록 하는 것”이라고 덧붙였습니다.
창조의 순간에 함께
오늘날 현대 AI의 소용돌이치는 중심에 서 있지만, 수츠케버는 AI의 탄생에도 함께했습니다.
2012년, 수츠케버는 대규모 데이터 세트로 훈련된 심층 신경망의 힘을 최초로 보여준 사람 중 한 명입니다. 학술 경연 대회에서 AI의 선구자인 지오프 힌튼(Geoff Hinton)과 알렉스 크리제브스키(Alex Krizhevsky)와 함께 시연했던 알렉스넷(AlexNet) 모델은 인간보다 더 빠르게 이미지를 인식했죠.
젠슨 황은 이들의 연구를 AI의 빅뱅이라고 불렀습니다.
황은 그 결과가 “매우 큰 차이로 기록을 깼고 여기에 불연속성이 있다는 것이 분명했다”라고 말했습니다.
병렬 처리가 지닌 힘
이러한 혁신 중 일부는 GPU를 통해 모델에 적용한 병렬 처리에서 비롯됐습니다.
수츠케버는 “GPU에 매우 적합한 이미지넷 데이터 세트와 컨볼루션 신경망 덕분에 전례 없는 속도로 기존에 없던 새로운 것을 훈련시킬 수 있었습니다”라고 말하죠.
초기 작업은 토론토 대학교(University of Toronto) 실험실에서 몇 대의 GeForce GTX 580 GPU로 실행됐는데요. 오늘날에는 마이크로소프트 애저(Microsoft Azure) 클라우드 서비스에서 수만 대의 최신 NVIDIA A100 및 H100 Tensor Core GPU가 챗GPT와 같은 모델에 대한 학습 및 추론을 처리합니다.
젠슨 황은 “우리가 서로를 알고 지낸 세월이 10년입니다. 그동안 훈련한 모델은 약 백만 배의 성장을 이뤘습니다. 컴퓨터 사이언스 업계의 어느 누구도 그 기간 동안 수행된 계산이 백만 배나 더 커질 것이라고는 믿지 않았을 것입니다”라고 말했죠.
수츠케버는 “나는 보다 큰 것이 더 좋은 성능을 지닐 것이라는 강한 믿음을 가지고 있었고, 오픈AI의 목표 역시 확장이었습니다”고 말했습니다.
10억 개의 단어
대화를 주고받으며, 젠슨 황과 수츠케버 모두 웃음도 주고받았는데요.
수츠케버는 “인간은 일생 동안 10억개의 단어를 듣는다”고 말했습니다.
젠슨 황은 “내 머릿속으로 생각하는 단어도 거기에 포함되는지” 물었고,
수츠케버는 “그것까지 포함해서 20억 개로 정정한다”고 웃으며 대답했습니다.
AI의 미래
두 사람은 AI의 전망에 대해 논의하며 한 시간 가까이 진행된 대담을 마무리했습니다.
GPT-4에 추론 능력이 있느냐는 질문에 수츠케버는 이 용어는 정의하기 어려우며, 아직은 개발 단계일 수 있다고 답했습니다.
그는 “우리는 계속해서 우리를 놀라게 할 수 있는 시스템을 보게 될 것입니다. 최우선 순위는 신뢰성이며, AI가 무엇을 할 수 있는지에 대해 사람들이 믿음을 가지고, AI가 무언가를 모를 때 모른다고 말할 수 있는 지점에 도달해야 합니다”고 덧붙였죠.
젠슨 황은 세션을 마무리하며, “오픈AI는 정말 놀라운 성과를 이뤘습니다. 박사 학위 수준을 넘어선, 대규모 언어 모델(LLM)의 최첨단 기술에 대한 최고의 설명 중 하나”라고 말했습니다.
GTC 2023의 모든 소식을 확인하고 싶다면, 젠슨 황 키노트를 시청해보세요.