CPU, GPU, TPU 차이: 성능 순위보다 먼저 봐야 할 작업 기준

CPU, GPU, TPU 차이는 “어느 칩이 더 빠른가”보다 “내 작업이 어떤 계산 구조인가”로 봐야 합니다. 서버 요청처럼 매번 판단이 바뀌는 일은 CPU가 잘 맞고, 같은 수학을 대량으로 반복하는 작업은 GPU가 강하며, 거대한 텐서 연산 중심의 AI 학습·추론은 TPU가 유리해질 수 있습니다.

그래서 로컬 AI 모델, 딥러닝 학습, 클라우드 인스턴스 선택에서 먼저 던질 질문은 하나입니다.

이 작업은 분기가 많은가, 같은 계산이 반복되는가, 아니면 텐서 연산이 대부분인가?

 

서로 다른 계산 작업을 맡은 CPU, GPU, TPU 작업대가 데이터 흐름으로 연결된 기술 일러스트.

 

먼저 비교표로 감을 잡자

 

구분	잘하는 일	기대하면 안 되는 일	대표적인 사용 장면
CPU	분기, 제어 흐름, 범용 작업	큰 배열에 같은 계산을 끝없이 반복하는 처리량 경쟁	웹 서버, 데이터베이스, 운영체제, 애플리케이션 로직
GPU	대량 병렬 계산, 반복 수학	조건 분기가 많고 흐름이 계속 바뀌는 코드	그래픽 렌더링, 영상 처리, 과학 계산, 딥러닝 학습
TPU	머신러닝용 텐서 연산	범용 작업, TPU에 잘 맞지 않는 모델·프레임워크	대형 신경망 학습, 추론, 행렬 곱셈 중심 워크로드

 

표만 보면 단순해 보이지만, 실제로는 “어디가 병목인가”가 더 중요합니다. GPU를 달아도 데이터 준비가 느리면 GPU는 놀고, TPU를 써도 모델 구조와 입력 파이프라인이 맞지 않으면 장점이 줄어듭니다.

 

판단 기준은 칩 이름이 아니라 병목입니다. 분기와 조율이 병목이면 CPU, 반복 계산이 병목이면 GPU, 큰 텐서 연산이 병목이고 환경까지 맞으면 TPU를 검토하는 식으로 봐야 합니다.

 

 

CPU는 복잡한 흐름을 맡을 때 강하다

CPU는 범용 처리 장치입니다. 코어 수만 보면 GPU보다 적어 보여도, 각 코어가 다양한 명령과 복잡한 흐름을 처리하도록 설계되어 있습니다.

웹 서버 요청 하나를 생각해 보면 CPU의 역할이 분명해집니다.

• 요청을 읽는다.
• 인증 정보를 확인한다.
• 데이터베이스에서 값을 찾는다.
• 조건에 따라 비즈니스 규칙을 적용한다.
• 응답을 만든다.

 

이 흐름은 “같은 계산을 천만 번 반복”하는 일이 아닙니다. 요청마다 조건이 다르고, 중간에 판단이 들어가고, 다음 단계가 바뀔 수 있습니다. 이런 제어 흐름과 분기 처리에서는 CPU의 유연성이 중요합니다.

서버 애플리케이션, 운영체제, 데이터베이스, 백엔드 로직이 여전히 CPU 중심인 이유도 여기에 있습니다. GPU나 TPU는 특정 계산을 가속할 수 있지만, 시스템 전체의 판단과 조율을 대신하는 장치는 아닙니다.

 

 

GPU는 반복 계산이 충분히 클 때 빨라진다

GPU를 이해할 때 핵심은 “많은 계산을 동시에 밀어붙이는 처리량”입니다. 보통 GPU는 CPU보다 많은 계산 유닛을 활용해 비슷한 연산을 병렬로 실행하도록 설계됩니다.

그래픽 렌더링에서는 수많은 픽셀을 각각 계산할 수 있습니다. 영상 처리에서는 프레임과 픽셀 단위의 연산이 반복됩니다. 과학 계산에서는 큰 데이터셋 전체에 같은 수치 연산을 적용합니다.

딥러닝도 이 패턴과 잘 맞습니다. 큰 입력 묶음에 같은 종류의 수학 연산을 반복하고, 그 결과를 다음 레이어로 넘기는 구조가 많기 때문입니다. NVIDIA의 CUDA C Programming Guide도 GPU 프로그래밍 모델을 대량의 스레드가 병렬로 실행되는 구조로 설명합니다.

다만 “GPU 사용 = 무조건 속도 향상”은 아닙니다. 실제로는 다음 지점에서 기대가 자주 꺾입니다.

• 데이터가 GPU 메모리에 올라가기 전에 CPU 전처리에서 막힌다.
• 배치가 너무 작아 병렬 처리 이득보다 이동 비용이 크다.
• 코드 안에 조건 분기가 많아 GPU가 한꺼번에 밀어붙이기 어렵다.
• 모델보다 디스크 읽기, 네트워크, 데이터 로딩이 더 느리다.

 

이런 경우에는 GPU 사용률이 낮게 나오거나, GPU를 붙였는데도 체감 속도가 별로 달라지지 않습니다.

 

 

AI 성능에서 행렬 곱셈이 계속 나오는 이유

AI에서 GPU 이야기가 반복되는 이유는 결국 행렬 곱셈 때문입니다. 모델이 똑똑해 보이는 것과 별개로, 내부에서는 큰 숫자 덩어리를 곱하고 더하는 일이 계속 반복됩니다.

행렬은 숫자가 줄과 칸으로 놓인 격자입니다. 행렬 곱셈은 한 행과 한 열의 값을 곱하고 더해 새로운 값을 만드는 작업입니다. 작은 행렬에서는 단순해 보이지만, 크기가 커지고 레이어가 많아지면 계산량이 폭발합니다.

신경망을 단순화하면 흐름은 이렇습니다.

• 입력 데이터가 숫자 묶음으로 들어온다.
• 모델의 가중치도 숫자 묶음으로 존재한다.
• 입력과 가중치를 행렬 곱셈으로 결합한다.
• 결과를 다음 레이어로 넘기고 비슷한 과정을 반복한다.

 

이 구조는 CPU가 못한다는 뜻이 아닙니다. CPU도 계산할 수 있습니다. 다만 큰 배치와 큰 행렬이 반복될수록 GPU 같은 병렬 처리 장치가 시간을 크게 줄일 여지가 생깁니다.

 

 

텐서는 TPU를 이해하는 최소 단위다

TPU를 이해하려면 텐서라는 말을 피할 수 없습니다. 텐서는 어렵게 들리지만, 처음에는 “차원이 늘어난 숫자 배열”로 이해하면 충분합니다.

• 숫자 하나는 스칼라입니다.
• 숫자 목록은 벡터입니다.
• 숫자 격자는 행렬입니다.
• 그보다 더 많은 차원을 가진 숫자 배열을 텐서로 볼 수 있습니다.

 

예를 들어 컬러 이미지는 높이, 너비, 색상 채널을 가진 텐서로 표현할 수 있습니다. 여러 이미지를 한 번에 묶어 배치로 처리하면 더 큰 텐서가 됩니다. TensorFlow의 Tensor guide도 텐서를 다차원 배열로 설명합니다.

AI 모델은 이 텐서를 계속 변환합니다. 특히 대형 언어 모델이나 트랜스포머 모델에서는 큰 텐서 연산과 행렬 곱셈이 작업의 많은 부분을 차지합니다.

 

 

TPU는 특화된 만큼 조건을 탄다

TPU는 Tensor Processing Unit입니다. 이름 그대로 텐서 연산, 특히 머신러닝 학습과 추론에 맞춰 설계된 전용 가속기입니다. Google Cloud의 TPU 소개 문서는 TPU를 머신러닝 워크로드를 가속하기 위해 설계된 ASIC으로 설명합니다.

TPU가 빛나는 상황은 비교적 분명합니다.

• 모델이 큰 텐서 연산 중심이다.
• 학습 또는 추론 규모가 충분히 크다.
• 사용하는 프레임워크와 모델 구조가 TPU 실행에 잘 맞는다.
• 데이터 입력 파이프라인이 TPU를 기다리게 만들지 않는다.

 

반대로 일반적인 백엔드 로직, 작은 실험, 분기가 많은 코드, TPU 지원이 애매한 모델에서는 TPU가 좋은 선택이 아닐 수 있습니다. TPU는 더 전문화된 만큼 유연성은 줄어듭니다.

여기서 중요한 결론은 “TPU가 GPU보다 항상 빠르다”가 아닙니다. TPU는 특정 머신러닝 워크로드가 맞아떨어질 때 효율적인 선택이 될 수 있습니다. 하지만 조건이 맞지 않으면 GPU나 CPU가 더 현실적입니다.

 

 

내 작업에는 무엇을 쓰면 될까

장비를 고를 때는 칩 이름보다 병목을 먼저 봐야 합니다.

요청 처리, 조건 판단, 파일 입출력, 데이터베이스 조회, 여러 시스템 호출이 중심이면 CPU 성능과 전체 시스템 설계가 중요합니다. 이 경우 GPU를 붙이는 것보다 쿼리, 캐시, I/O, 코드 구조를 보는 편이 먼저입니다.

큰 배열, 이미지, 벡터, 행렬을 대상으로 같은 연산을 반복한다면 GPU를 검토할 만합니다. 딥러닝 학습, 대량 추론, 영상 처리, 과학 계산이 여기에 들어갑니다. 단, 데이터 로딩과 전처리가 병목이면 GPU보다 입력 파이프라인 개선이 먼저일 수 있습니다.

이미 대형 신경망을 다루고 있고, 프레임워크와 인프라가 TPU에 맞으며, 텐서 연산 비중이 매우 높다면 TPU가 후보가 됩니다. 반대로 시작 단계라면 TPU는 대부분 너무 이른 고민입니다.

AI 공부를 막 시작했다면 작은 모델과 작은 데이터셋은 CPU로도 충분히 연습할 수 있습니다. 필요할 때 GPU 환경을 잠깐 쓰면 됩니다. 이 지점은 파이썬으로 머신러닝 엔지니어 되는 법에서 다룬 “처음부터 하드웨어 스펙 때문에 포기할 필요는 없다”는 관점과도 잘 맞습니다.

딥러닝이 왜 큰 데이터와 하드웨어 발전의 영향을 크게 받았는지 더 넓게 보고 싶다면 딥 러닝 성공 이유 글도 이어서 볼 만합니다.

 

 

자주 헷갈리는 질문

 

GPU가 없으면 딥러닝 공부를 못 하나요?

아닙니다. 작은 모델, 작은 데이터셋, 기본 개념 학습은 CPU로도 충분히 가능합니다. 다만 이미지 모델, 대형 모델, 반복 실험이 늘어나면 GPU가 시간을 크게 줄여줍니다.

 

TPU는 GPU보다 무조건 빠른가요?

아닙니다. TPU는 텐서 연산 중심의 머신러닝 워크로드에 특화되어 있습니다. 모델 구조, 프레임워크 지원, 데이터 파이프라인, 배치 크기가 맞을 때 강력하지만 범용 작업에는 GPU나 CPU가 더 적합할 수 있습니다.

 

 

정리

CPU, GPU, TPU 차이는 성능 순위가 아니라 역할 차이입니다.

CPU는 분기와 제어 흐름이 많은 범용 작업에 강합니다. GPU는 같은 수학을 대량으로 반복하는 병렬 작업에 강합니다. TPU는 텐서 연산 중심의 머신러닝 학습과 추론에 특화되어 있습니다.

결국 성능은 칩 이름에서 바로 나오지 않습니다. 내 워크로드가 어떤 모양인지 먼저 보고, 그 모양에 맞는 아키텍처를 고를 때 나옵니다.