一、硬件参数

        注意到，完整 AD102 核心有 12 组 GPC，每组 GPC 包含 6 组 TPC，单个 TPC 中含有两个 SM 单元，因此完整 AD102 核心共有 144 个 SM 单元，但 AD102-300 只开启其中的 128 个，AD102-250 只开启其中的 114 个。每个 SM 单元中有 128 个 CUDA 计算单元，其中 64 个 CUDA 可以计算 FP32 或 INT32，另外 64 个只能计算 INT32。

        每个 SM 单元中有 4 个 Tensor Core，因此 AD102-300 总共含有 512 个 Tensor Core，AD102-250 总共含有 456 个 Tensor Core。支持的数据类型有 FP8、FP16、BF16、TF32、INT8、INT4，不支持 FP64。对于 FP16 数据，每个 Tensor Core 每周期可以完成 64 次 FMA（乘加）操作，因 FMA 算作两次浮点运算，所以相当于 128 个 FP16 FLOPs；对于 INT8 数据，每个 Tensor Core 每周期能完成 128 次运算；对于 INT4 数据，每周期则能完成 256 次运算。启用稀疏计算（2:4 模式）加速后，在神经网络权重中，强制每 4 个连续元素中至少 2 个为零，Tensor Core 硬件自动跳过零值计算，有效吞吐量翻倍。

二、算力

1、CUDA Core 算力

浮点：TFLOPS

整型：TIOPS

2、Tensor Core 算力

浮点：TFLOPS

整型：TIOPS

稠密/稀疏