소프트웨어가 세상을 먹어 치웠고, 이제 그 바통을 새로운 하드웨어가 이어받고 있습니다.
10년 전, 벤처 투자자 마크 안드레센(Marc Andreessen)은 “소프트웨어가 세상을 먹어치우고 있다(software is eating the world)”고 선언했는데요.
한때는 급진적이었지만 이제 뻔한 말이 된 그의 주장은 소프트웨어가 혁신과 기업의 가치 창출을 좌우한다는 의미입니다. 일각에서는 이를 하드웨어는 중요성이 덜하다는 뜻으로 이해하기도 했죠.
하지만 실은 정반대입니다. 소프트웨어 정의 혁명의 지속을 위해서는 GPU와 DPU라는 새로운 칩 아키텍처가 매우 중요하다는 사실이 분명해졌습니다.
AI와 머신 러닝에서는 단일 GPU가 10개에서 100개에 이르는 CPU를 이미 대신하고 있죠.
단일 칩의 DPU 1개가 CPU 코어 20개, 50개 혹은 120개의 작업을 처리할 수도 있습니다. 미래의 DPU는 최대 300개에 달하는 CPU 코어의 작업을 오프로드할 전망입니다.
다시 말해, 하드웨어의 중요성이 그 어느 때보다 강조되고 있습니다.
하드웨어가 중요한 건 AI 때문
분명히 해두자면, 소프트웨어 또한 여전히 중요합니다.
상점과 공장부터 사무실과 학교에 이르는 모든 곳이 소프트웨어에 의존합니다. 더 나아가 친목 활동과 데이트에도 소프트웨어가 활용되고 있습니다.
하지만 향후 10년간은 모든 사업자가 단순히 소프트웨어 기업으로 발돋움하는 것을 넘어 AI 기업으로 변모할 수 있는지가 성공의 관건이 될 것입니다.
자동화의 자동화, 즉 AI를 받아들이지 않는 기업은 뒤처지게 되겠죠.
이처럼 급속한 AI화는 많은 점을 시사합니다.
지난 10년간의 소프트웨어 대전환은 상용 CPU로 감당이 가능했습니다.
이제 GPU와 DPU가 향후 10년의 AI 대전환을 견인하는 원동력이 될 것입니다.
GPU와 DPU가 함께 주도하는 혁신
오늘날의 워크로드는 다음과 같은 측면에서 과거와 아주 다릅니다.
- 데이터가 기하급수적으로 증가하고 있습니다.
- 데이터센터의 네트워킹 속도가 초당 10 Gbps에서 200Gbps로 20배 빨라졌습니다.
- 기업과 클라우드에 AI가 널리 확산됐습니다.
- 여러 서버에서 동시 실행되는 애플리케이션들이 상시적으로 통신을 주고받습니다.
- 컴퓨터 칩의 성능이 2년마다 2배로 증가한다는 무어의 법칙(Moore’s Law)이 깨졌습니다. 이제 CPU의 성능은 지수적 성장을 달성하지 못하고, 다른 모든 영역의 성장 속도를 좀처럼 따라갈 수 없습니다.
이 같은 추세의 가속화를 표준 CPU는 제대로 감당하지 못하고 있습니다. AI 훈련 워크로드와 머신 러닝 모델의 경우, 서버의 CPU들을 수시간 혹은 며칠씩 붙들고 있기도 합니다.
현재는 각 서버 CPU 코어의 1/3이 네트워킹, 스토리지 관리, 보안 등의 인프라 업무를 실행하는 것이 일반적입니다.
전문화된 칩이 솔루션으로 등장한 덕분이죠.
이를 통해 CPU 또한 단일 스레드의 일반 애플리케이션 실행이라는 특기를 최대한 발휘할 수 있게 됩니다.
소프트웨어 정의 혁신을 앞당기는 하드웨어 혁신
소프트웨어 정의 혁명은 하드웨어와 소프트웨어 간 균형을 원점으로 되돌려 놓았습니다. 하드웨어의 설계가 다시금 중요해진 것이죠.
이때 각각의 어플라이언스나 범용 CPU를 위한 커스텀 ASIC(주문형반도체)의 설계 대신, GPU와 DPU 같은 전문 프로세서의 지속적인 혁신이 더욱 중요합니다.
이 프로세서들의 빠른 혁신 속도는 하드웨어 업계에 여러 과제를 안기고 있습니다. 날로 작아지는 반도체 프로세스 노드의 이점을 누리려면 설계상의 보다 복잡한 노력들이 필요합니다.
프로세스가 축소될 때마다 새로운 설계 규칙이 적용됩니다. 새롭고 더 효율적인 칩을 만들려면 설계팀과 검증팀의 규모를 늘려야 합니다.
결과적으로 칩 제조사들은 막대한 금액을 투자하게 됩니다. 칩의 논리적 설계만 문제가 아닙니다. 물리적 측면에도 공을 들여야 합니다. 칩은 물리학에서부터 양자의 영역까지 적용되는 법칙과 한계를 따라야 하죠.
시간이 흐르면서 결국 보다 대규모의 칩 제조사만이 규모별 설계를 할 수 있게 됩니다. 이는 새로운 프로세스 노드 각각에 맞춰 다중의 새로운 칩을 만드는 능력을 의미하죠. 칩을 스스로 만들어 사용하는 다른 기업들은 최신 노드에 따른 설계를 진행할 여력이 없습니다. 더 낡고 크고 비효율적인 프로세스에 만족할 수밖에 없는 셈입니다.
우리는 이러한 사례를 CPU에서도 목격했습니다. 겨우 3곳의 기업만이 혁신을 계속할 수 있었는데요. 이들은 CPU의 설계에 드는 노력을 대량의 칩과 고객으로 돌려받고 있습니다.
GPU와 DPU의 경우도 이와 비슷할 것으로 보입니다. 따라서 대형 칩 제조사들은 소프트웨어의 지속적 혁신을 지원할 것입니다.
무한한 혁신의 미래
혁신적인 GPU와 DPU로 무장한 데이터센터는 서로 다른 업무에 최적화된 프로세서들을 배치할 수 있게 됩니다. AI의 번영과 함께 소프트웨어가 세상을 먹어 치우는 일이 계속되겠죠.
현대의 데이터센터는 결국 소프트웨어로 정의되고 하드웨어로 가속됩니다. 소프트웨어와 하드웨어는 따로 떼어 생각할 수 없는 관계입니다.