900개가 넘는 GTC 세션 중에서 가장 큰 인기를 끌었던 것은 딥 러닝 환경을 변화시키고 오늘날의 생성형 AI 시대를 가능하게 한 뉴럴 네트워크 아키텍처인 트랜스포머 모델을 소개한 전설적인 연구 논문의 저자 7명과 NVIDIA 젠슨 황 CEO가 진행한 패널 세션이였습니다.
“오늘날 우리가 누리고 있는 모든 것은 그 순간으로 거슬러 올라갈 수 있습니다.”라며 젠슨 황 CEO는 수백 명의 참석자들로 가득 찬 방에서 “Attention is All You Need’의 저자들과 함께 대담을 가졌습니다.
처음으로 무대에 오른 유명 논문의 저자들은 NeurIPS AI 컨퍼런스에서 처음 발표되어 10만 번 이상 인용된 논문을 발표하게 된 배경을 되돌아보았습니다. 또한 이들은 최신 프로젝트에 대해 논의하고 생성형 AI 분야의 미래 방향에 대한 인사이트를 제공했습니다.
처음에는 구글 연구원으로 시작했지만, 현재 대부분 자신만의 AI 회사를 설립하는 등 업계 곳곳에 퍼져 있습니다.
젠슨 황 CEO는 “업계 전체가 여러분들의 노고에 감사하고 있습니다.”라고 말했습니다.
트랜스포머 모델의 기원
연구팀은 처음에 언어 데이터를 처리하는 최첨단 기술인 RNN(Recurrent Neural Networks)의 한계를 극복하기 위해 노력했습니다.
Character.AI의 공동 창립자이자 CEO인 Noam Shazeer는 RNN을 증기 엔진과 변압기의 내연 효율 향상에 비유했습니다.
“증기기관으로 산업 혁명을 이룰 수도 있었지만, 그것은 고통스러웠을 것입니다.”라고 그는 말합니다. “내연기관을 사용하니 상황이 훨씬 더 나아졌습니다.”
“저희는 이제 융합을 기다리고 있습니다.”라고 블록체인 회사 NEAR Protocol의 공동 창업자 Illia Polosukhin은 말했습니다.
논문 제목은 인풋 데이터의 여러 부분 간의 관계를 판단하는 뉴럴 네트워크의 요소인 주의(Attention) 메커니즘이 모델 성능의 가장 중요한 요소라는 사실을 깨달은 데서 유래했습니다.
“저희는 얼마 전부터 모델이 얼마나 더 나빠질지 알아보기 위해 모델의 일부를 버리기 시작했습니다. 그런데 놀랍게도 성능이 향상되기 시작했습니다.”라고 Sakana AI의 공동 창립자이자 최고 기술 책임자인 Llion Jones는 답했습니다.
‘트랜스포머’라는 일반적인 이름을 가진 것은 텍스트, 이미지, 오디오, 텐서, 생물학적 데이터 등 모든 데이터 유형을 처리하고 변환할 수 있는 AI 모델을 구축하려는 팀의 야망을 대변하는 것이었습니다.
“그 북극성은 첫날부터 존재했고, 그 꿈이 실현되는 과정을 지켜보는 것은 정말 흥분되고 기쁜 일이었습니다.”라고 Cohere의 공동 창립자이자 CEO인 Aidan Gomez는 말했습니다. “실제로 지금 그 일이 일어나고 있습니다.”
앞으로 나아갈 길 구상하기
주어진 문제의 복잡성에 따라 모델이 컴퓨팅 파워의 사용량을 조정하는 적응형 연산(Adaptive computation)은 연구자들이 미래의 AI 모델에서 개선될 것으로 보는 핵심 요소입니다.
“주어진 문제에 적절한 양의 노력과 궁극적으로 에너지를 소비하는 것이 중요합니다.”라고 생물학적 소프트웨어 회사인 Inceptive의 공동 창립자이자 CEO인 Jakob Uszkoreit은 말했습니다. “쉬운 문제에 너무 많은 시간을 투자하거나 어려운 문제에 너무 적은 시간을 투자하고 싶지 않을 것입니다.”
예를 들어 2 더하기 2와 같은 수학 문제는 1조 개 매개변수 트랜스포머 모델을 통해 실행할 것이 아니라 기본 계산기로 실행해야 한다고 이들 모두 동의했습니다.
이들은 또한 차세대 AI 모델에 대한 기대도 갖고 있습니다.
“세상에는 트랜스포머보다 더 나은 것이 필요하다고 생각합니다.”라고 Gomez는 말합니다. “여기 있는 우리 모두는 새로운 성능의 정점에 도달할 수 있는 무언가가 성공하기를 바라고 있죠.”
젠슨 황 CEO는 “앞으로의 10년을 놓치고 싶지 않을 것입니다. 믿을 수 없을 정도로 새로운 기능이 발명될 것입니다.”라며 토론을 마무리 했습니다.
젠슨 황 CEO는 각 연구원에게 “당신은 세상을 변화시켰습니다”라는 메시지가 새겨진 NVIDIA DGX-1 AI 슈퍼컴퓨터의 액자 커버 플레이트를 선물하며 대화를 마무리했습니다.
아직 온라인 GTC 패스를 등록하여 세션 리플레이를 무료 시청할 수 있습니다!
생성형 AI의 최신 트렌드를 확인하고 싶다면 젠슨 황 CEO의 GTC 키노트를 감상하세요.