PyTorch 深度学习笔记（十一）：ReLU 激活函数的梯度特性与原理拆解

1. ReLU 函数定义

ReLU（Rectified Linear Unit）定义为： $$ \text{ReLU}(x) = \max(0, x) $$

• 当 $x \geq 0$ 时，输出 $x$
• 当 $x < 0$ 时，输出 $0$

2. 梯度特性分析

ReLU 的梯度是其核心特性，通过分段函数描述： $$ \frac{\partial \text{ReLU}(x)}{\partial x} = \begin{cases} 1 & \text{if } x > 0 \ 0 & \text{if } x < 0 \end{cases} $$ 关键点：

• 正区间梯度饱和：当 $x > 0$ 时梯度恒为 $1$，避免梯度消失（对比 Sigmoid/Tanh）
• 负区间梯度截断：当 $x < 0$ 时梯度为 $0$，使神经元"死亡"（Dead Neurons）
• 零点不可导：数学上 $x=0$ 处不可导，但实现中通常约定 $\frac{\partial \text{ReLU}(0)}{\partial x} = 0$ 或 $1$（PyTorch 默认取 $0$）

3. 梯度原理拆解

设输入 $x$，前向传播输出 $y = \text{ReLU}(x)$，反向传播时：

• 若 $x > 0$：$\frac{\partial y}{\partial x} = 1$，梯度完整传递
• 若 $x < 0$：$\frac{\partial y}{\partial x} = 0$，梯度归零
• 计算图示意：

  输入 x → ReLU → 输出 y
  反向：∂L/∂y → (∂y/∂x) → ∂L/∂x
  

4. PyTorch 实现与梯度验证

import torch

# 定义输入（包含正负值和零点）
x = torch.tensor([-2.0, 0.0, 3.0], requires_grad=True)

# 前向传播
y = torch.relu(x)  # y = [0, 0, 3]

# 反向传播（模拟损失函数）
loss = y.sum()     # L = 0 + 0 + 3 = 3
loss.backward()

# 打印梯度
print("梯度值:", x.grad)  # 输出: tensor([0., 0., 1.])

结果分析：

• $x=-2$：梯度为 $0$（负区间截断）
• $x=0$：梯度为 $0$（PyTorch 默认处理）
• $x=3$：梯度为 $1$（正区间透传）

5. 优缺点总结

6. 实际应用建议

1. 初始化策略：使用 He 初始化（方差缩放因子 $\sqrt{2/n}$），适配 ReLU 特性
2. 缓解神经元死亡：
   • 搭配 Leaky ReLU：$y = \max(0.01x, x)$
   • 使用 SELU：自归一化激活函数
3. 网络层位置：常用于卷积层/全连接层后，如 Conv2d → ReLU → Pooling

关键结论：ReLU 的梯度设计使其成为深层网络基石，但需注意神经元死亡问题。理解其分段梯度特性是优化模型性能的核心。