우리가 생성형 AI에게 질문에 답하거나 이미지를 만들도록 요청하면, 거대 언어 모델은 결과를 제공하기 위해 결합되는 인텔리전스(Intelligence)의 토큰들을 생성하게 되는데요,
하나의 프롬프트. 답변을 위한 하나의 토큰 세트. 이것을 바로 AI 추론(AI inference)이라고 합니다.
그리고 에이전틱 AI는 추론을 사용하여 작업을 완수합니다. AI 에이전트는 단순히 한 번의 답변만 제공하는 것이 아니라, 작업을 여러 단계로 나누고 각 단계마다 다른 추론 기법을 사용하게 됩니다.
하나의 프롬프트. 작업을 완수하기 위한 여러 세트의 토큰.
AI 추론의 엔진은 AI 팩토리(AI Factory)라고 불립니다. 이는 수백 만 명의 사용자에게 동시에 AI를 제공하는 대규모 인프라입니다.
AI 팩토리는 AI 토큰을 생성하는데요, 이들이 만든 제품이 바로 ‘인텔리전스’입니다. AI 시대에는 이 인텔리전스가 기업의 매출과 이익을 성장시키죠. 또한 시간이 지남에 따라 매출을 성장시키는 것은 AI 팩토리가 확장될 때 얼마나 효율적으로 운영되는지에 달려 있습니다.
AI 팩토리는 차세대 산업 혁명을 위한 머신입니다.
AI 팩토리는 최적의 추론을 제공하기 위해 두 가지 상충되는 요구 사항이 모두 필요한데요, 즉 사용자별 속도와 전체 시스템 연산량 사이의 균형을 맞춰야 합니다.
AI 팩토리는 스케일링을 통해 두 가지 요소 모두를 개선할 수 있습니다. 더 많은 FLOPS와 더 높은 대역폭으로 확장함으로써, AI 워크로드를 그룹화하고 처리하여 생산성을 극대화할 수 있습니다.
하지만 궁극적으로 AI 팩토리는 사용할 수 있는 전력에 의해 한계가 결정되죠.
1메가와트 AI 팩토리에서 NVIDIA Hopper는 최대 연산량으로 초당 180,000개의 토큰(TPS)을 생성하거나, 한 명의 사용자에게는 가장 빠른 속도로 초당 225개의 토큰을 생성할 수 있습니다.
하지만 실제 작업은 이 두 극단의 중간 지점에서 이루어지는데요, 곡선 위의 각 점은 AI 팩토리가 처리해야 하는 다양한 워크로드 배치를 나타내며, 각각 고유한 성능 요구 사항을 가지고 있습니다.
NVIDIA GPU는 NVIDIA CUDA 소프트웨어를 사용해 프로그래밍할 수 있기 때문에, 이러한 전체 워크로드 스펙트럼을 유연하게 처리할 수 있습니다.
NVIDIA Blackwell 아키텍처는 1메가와트로 Hopper 아키텍처보다 훨씬 더 많은 일을 할 수 있습니다. 그리고 앞으로 더 많은 성능 발전이 이루어질 예정이죠. 소프트웨어와 하드웨어 스택을 최적화함으로써 Blackwell은 시간이 지날수록 더 빠르고 효율적으로 발전하게 됩니다.
또한, 개발자들이 NVIDIA의 새로운 AI 팩토리 운영체제인 Dynamo를 활용해 AI 팩토리 워크로드를 자동으로 최적화하면, Blackwell의 성능은 한층 더 향상됩니다.
Dynamo는 추론 작업을 더 작은 구성 요소로 분할하고, 그 순간에 가장 최적의 컴퓨팅 자원으로 워크로드를 동적으로 라우팅하고 재라우팅하는데요. 이러한 성능 향상은 매우 놀라운 수준입니다. Hopper에서 Blackwell로의 불과 한 세대 프로세서 아키텍처 도약만으로도, 동일한 에너지 사용량으로 AI 추론(Reasoning) 성능을 50배 향상시킬 수 있답니다.
이것이 바로 NVIDIA의 풀스택 통합과 최첨단 소프트웨어가 칩 아키텍처의 세대 변경 동안 고객들에게 막대한 속도와 효율성 향상을 제공할 수 있었던 이유입니다.
NVIDIA는 하드웨어에서 소프트웨어, 컴퓨트에서 네트워킹에 이르기까지, 매 세대마다 이 곡선을 바깥으로 확장시켜 나가고 있습니다.
그리고 성능이 한 단계씩 발전할 때마다, AI는 전 세계 NVIDIA의 파트너와 고객들에게 수조 달러에 달하는 생산성 향상을 선사합니다. 동시에 인류는 질병을 치료하고, 기후 변화를 되돌리며, 우주의 위대한 비밀을 밝혀내는 데 한 걸음 더 다가갈 수 있게 되죠.
이것이 바로 컴퓨팅이 자본과 진보로 전환되는 과정입니다.