GPU가 다 한다는 생각, AI 에이전트가 바꿔버렸다
AI 에이전트는 GPU 추론을 마친 뒤에도 CPU가 계속 일한다. 검색하고, API 호출하고, 다음 액션을 결정하는 건 전부 CPU 몫이다. 그래서 에이전트가 많아질수록 병목은 GPU가 아니라 CPU에서 생긴다.
그러나 AI 인프라 투자 하면 자연스럽게 GPU와 엔비디아를 떠올리게 된다. 실제로 지난 몇 년간 데이터센터 투자의 중심은 GPU 클러스터였고, CPU는 그 뒤를 받쳐주는 보조 역할 정도로 취급받았다. 그런데 2025년 하반기부터 이 흐름이 달라지기 시작했다. 단순히 질문에 답하는 챗봇 수준의 LLM을 넘어, 웹 검색을 하고 API를 호출하고 코드를 실행하는 ‘AI 에이전트’가 본격적으로 확산되면서 병목이 GPU에서 CPU로 이동하고 있기 때문이다.
Georgia Tech와 인텔이 공동으로 진행한 연구(2025년 11월)는 이 현상을 수치로 보여준다. AI 에이전트 기반 워크플로우에서 전체 레이턴시의 50~90%가 GPU 추론 단계가 아니라 CPU 처리 단계에서 발생한다는 결과다. GPU 추론 자체는 0.5초도 안 걸리는데, 명령을 해석하고 실행 흐름을 조율하는 CPU에서 시간이 쌓인다는 얘기다. 즉, AI 에이전트를 대규모로 운영할수록 CPU 성능이 전체 시스템 처리량을 결정하는 변수가 된다.
지금 주문해도 6개월? CPU 공급 부족이 현실이 된 이유
수요가 급격히 바뀌면서 공급 쪽에서 먼저 신호가 왔다. 인텔은 특정 서버용 CPU의 배송 리드타임이 최장 6개월까지 늘어날 수 있다고 공지했고, 해당 제품군 가격은 약 10% 인상됐다. AMD 서버 CPU 역시 최소 2개월 이상 대기가 필요한 상황이다. 단순한 수급 불균형이 아니라, 수요의 성격 자체가 바뀐 데 따른 구조적인 공급 부족에 가깝다.
빅테크의 대응을 보면 흐름이 더 분명해진다. 메타는 엔비디아의 Grace CPU를 GPU와 별개로 독립형 서버에 활용하는 방식을 채택했다. GPU 중심 인프라에서 ‘GPU+CPU 하이브리드 인프라’로 전환하겠다는 선언이다. 엔비디아의 차세대 AI 가속기 아키텍처 ‘베라 루빈(Vera Rubin)’은 2026년 출시 예정으로 발표된 차세대 플랫폼으로 아직 출시 전이다. GPU 역할의 루빈(Rubin)과 CPU 역할의 베라(Vera)를 결합한 구조이며, 엔비디아는 이 중 CPU인 베라를 독립 플랫폼으로 분리 출시하는 방향으로 가고 있다. 현재는 전 세대인 Grace Blackwell이 출하 중이다. GPU 회사가 CPU를 독립 상품으로 들고 나오는 것 자체가 시장의 무게중심이 어디로 이동하고 있는지를 보여준다.
서버 CPU 선택 기준: 에이전트 워크로드에서 뭐가 다른가
AI 에이전트는 빠른 CPU 하나보다 많은 코어가 필요하다. 에이전트 여러 개가 동시에 작업을 처리하는 구조이기 때문이다.기준은 간단하다. 에이전트 1개 = 코어 2~4개. 96코어 서버라면 에이전트 24~48개를 동시에 돌릴 수 있다는 계산이 나온다.
그래서 구매 순서도 달라진다. CPU 먼저 고르는 게 아니라, “나는 에이전트 몇 개를 동시에 돌릴 건가”를 먼저 정한 뒤 그에 맞는 코어 수를 역산하는 게 맞다.
| 고려 항목 | AI 에이전트 워크로드 기준 | 일반 서버 워크로드 기준 |
|---|---|---|
| 코어 수 중요도 | 매우 높음 (병렬 에이전트 수 결정) | 중간 (워크로드 유형에 따라 다름) |
| 단일 코어 성능 | 보통 (에이전트 1개의 응답 속도에 영향) | 높음 (단일 쿼리 처리 속도 중요) |
| 메모리 대역폭 | 높음 (다수 에이전트 동시 컨텍스트 관리) | 중간~높음 |
| I/O 처리 능력 | 매우 높음 (API 호출, 외부 연동 빈번) | 중간 |
| 리드타임 | 최대 6개월 (인텔), 2개월+ (AMD) | 상대적으로 짧음 |
현시점에서 주목해야 할 서버 CPU 방향: Intel, AMD, 그리고 엔비디아 Grace
현재 서버 CPU 시장에서 의미 있는 플레이어는 크게 세 방향이다. 인텔, AMD, 그리고 엔비디아의 Grace CPU다. 인텔은 공급 부족과 가격 인상이라는 단기 리스크가 있지만 기존 x86 생태계와의 호환성, 검증된 서버 운영 사례가 많다는 점에서 대규모 레거시 인프라를 운영 중인 기업에겐 교체 비용 측면에서 여전히 검토 대상이다. AMD는 인텔 대비 리드타임이 짧고, 2026년 기준 서버용 라인업 자체는 경쟁력 있는 구간에 있다. 다만 AMD도 2026년은 미드사이클 리프레시 구간에 해당해 대규모 아키텍처 변화보다 점진적 개선에 가깝다는 점은 감안해야 한다.
엔비디아 Grace CPU는 완전히 다른 맥락에서 봐야 한다. 메타가 Grace를 독립형 서버에 활용하기로 한 것은 기존 x86 생태계와 단절을 감수하고서라도 AI 에이전트 워크로드에 특화된 메모리 대역폭과 전력 효율을 택하겠다는 결정이다. 다만 이 선택은 소프트웨어 스택 전반의 재구성이 필요하다. 레거시 없이 AI 에이전트 인프라를 처음부터 설계하는 조직이라면 Grace가 의미 있는 선택지가 될 수 있지만, 기존 x86 기반 시스템을 운영 중인 환경이라면 전환 비용이 상당하다는 현실적인 제약이 있다.
자주 묻는 질문
Q. AI 에이전트 서버를 구성할 때 GPU 없이 CPU만으로도 되나요?
Q. 에이전트 1개당 2~4코어 기준은 어디서 나온 수치인가요?
Q. 서버 CPU 리드타임이 길다면 지금 당장 주문해도 늦은 건 아닌가요?
✅ 이런 분께 맞습니다
AI 에이전트를 병렬로 다수 운영하는 인프라를 구성 중이거나 계획 중인 기업, 혹은 기존 x86 서버 환경을 유지하면서 CPU 병목을 해소하고 싶은 조직에 해당한다. 코어 수와 메모리 대역폭을 기준으로 에이전트 운영 규모를 역산해 설계하는 방식이 이 워크로드에 가장 실용적이다.
❌ 이런 분께는 맞지 않습니다
단순 챗봇 수준의 LLM 추론만 처리하는 환경이라면 CPU 업그레이드 투자의 우선순위는 낮다. 또한 레거시 x86 인프라가 깊게 박혀 있는 상태에서 엔비디아 Grace 같은 Arm 기반 플랫폼으로 전환을 검토 중이라면, 소프트웨어 스택 재구성 비용과 운영 인력의 재교육 부담을 먼저 현실적으로 따져봐야 한다.
