一、介绍

GPU（图形处理器）的核心工作原理是通过大规模并行计算架构，高效处理图形渲染、AI训练等对“数据吞吐量”要求极高的任务，本质是将复杂计算拆解为无数微小、可同步执行的子任务，再由海量计算单元并行完成。

二、核心

GPU与CPU（中央处理器）的核心差异在于架构设计——CPU追求“低延迟、强通用性”（适合复杂单任务），而GPU追求“高吞吐量、高并行性”（适合简单多任务），其架构关键组件如下：
 
- CUDA核心/流处理器（SP）：GPU的“计算最小单元”，数量从数千到数万不等（如RTX 4090约有16384个CUDA核心）。每个核心可独立计算简单数据（如像素颜色、矩阵乘法），海量核心同步工作形成并行算力。
​
- 纹理单元（Texture Unit）：负责处理“纹理映射”（如给3D模型贴材质、调整光影细节），快速读取/压缩纹理数据，是图形渲染中提升画面真实感的关键。
​
- 光栅化单元（Rasterizer）：将3D场景中的“矢量图形”（如三角形、多边形）转化为屏幕上的“像素点”（光栅化过程），是连接3D模型与2D画面的核心环节。
​
- 显存（VRAM）：专门为GPU服务的高速内存（如GDDR6X），用于存储待计算的图形数据、纹理、模型信息等，避免频繁与CPU内存（DDR）交换数据，大幅降低延迟

三、并行计算架构

GPU 采用大规模并行计算架构，包含数千甚至数万个流处理器（Streaming Processor，SP）。这些流处理器可以同时执行大量的相同或相似的计算任务，而 CPU 通常是采用串行处理方式，一次只能处理一个或少数几个任务。

例如，在处理图形渲染任务时，对于屏幕上的每个像素点的计算，GPU 可以同时让多个流处理器分别进行不同的计算操作，如颜色计算、光照计算等，而 CPU 则可能需要依次处理每个像素点的计算，效率相对较低。

四、显存与数据传输

GPU 配有专用的高带宽显存（Graphics Memory），用于存储图形数据和计算过程中的中间结果。当 CPU 将需要处理的图形数据传输到 GPU 的显存中后，GPU 可以直接对这些数据进行并行计算。

在数据传输方面，GPU 与显存之间的数据传输速度非常快，通常采用高速总线和专用的内存控制器，以满足大量数据并行处理的需求。相比之下，CPU 与主内存之间的数据传输速度相对较慢，这也是 GPU 在处理大规模数据并行计算时具有优势的原因之一。

五、线程调度与执行

GPU 内部有复杂的线程调度和执行机制。它将计算任务分解为大量的线程，并将这些线程组织成线程束（Warp）和线程网格（Grid）。线程束是 GPU 最小的执行单位，通常包含 32 个线程。

GPU 控制器会对线程进行调度，将线程束分配到不同的流处理器上同时执行。在执行过程中，GPU 会动态地管理线程的执行状态，根据线程之间的数据依赖关系和硬件资源的可用性进行调度和切换，以充分利用硬件资源并提高计算效率。

六、浮点运算能力

GPU 具有强大的浮点运算能力，特别适合处理大规模的浮点运算任务，如图形渲染中的三维几何计算、物理模拟等。GPU 的浮点运算单元（Floating-point Unit，FPU）数量众多，并且经过了优化设计，能够以较高的频率进行浮点运算。

例如，在一些科学计算和深度学习应用中，GPU 的浮点运算能力可以大大加速计算过程，比 CPU 单独处理快很多倍。

七、总结

- 以AI训练中的“矩阵乘法”为例（神经网络的核心计算）：一个大矩阵可被拆解为无数个2×2或4×4的小矩阵，每个小矩阵的乘法任务分配给一个CUDA核心，数万核心同时计算后再整合结果，效率远超CPU的串行计算。

GPU的工作原理可概括为“拆解-并行-整合”：先将复杂任务（图形渲染/矩阵计算）拆解为海量简单子任务，再由数万计算单元同步并行处理，最后整合结果输出。其架构设计完全围绕“高并行性”展开，这也是它在图形、AI、科学计算等领域不可替代的核心原因。

总之，GPU 通过并行计算架构、显存与数据传输、线程调度与执行以及强大的浮点运算能力等特点，能够高效地处理大规模的并行计算任务，在图形渲染、科学计算、深度学习等领域得到了广泛的应用。