PyTorch 深度学习笔记（十一）：ReLU 与 Leaky ReLU 激活函数的性能对比与选择

在深度神经网络中，激活函数对模型性能至关重要。本笔记将对比分析两种常用激活函数：ReLU 和 Leaky ReLU，并提供选择建议。

一、数学定义

1. ReLU (Rectified Linear Unit)
   $$ f(x) = \max(0, x) $$
   当输入 $x > 0$ 时梯度为 $1$，否则为 $0$。

2. Leaky ReLU
   $$ f(x) = \begin{cases} x & \text{if } x > 0 \ \alpha x & \text{if } x \leq 0 \end{cases} $$
   其中 $\alpha$ 为小常数（通常 $0.01 \leq \alpha \leq 0.3$），解决负区间梯度消失问题。

二、性能对比

三、实验观察（CIFAR-10 分类任务）

import torch.nn as nn

# 测试模型
class CNN(nn.Module):
    def __init__(self, activation):
        super().__init__()
        self.conv_layers = nn.Sequential(
            nn.Conv2d(3, 32, 3),
            activation(),
            nn.MaxPool2d(2),
            nn.Conv2d(32, 64, 3),
            activation(),
            nn.AdaptiveAvgPool2d(1)
        )
        self.classifier = nn.Linear(64, 10)

# 训练结果对比（5个epoch平均）

关键发现：

• Leaky ReLU 验证准确率提升 $3.8%$
• 训练后期损失下降更平稳（减少震荡）

四、选择建议

1. 优先选择 Leaky ReLU 的场景

   • 深层网络（>10层）
   • 训练数据存在显著负值特征
   • 需要长期训练（epoch > 50）
   • 模型出现死亡神经元现象（权重更新停滞）

2. 优先选择 ReLU 的场景

   • 计算资源严格受限（嵌入式设备）
   • 浅层网络（<5层）
   • 输入特征已标准化（$x \geq 0$）
   • 需要快速原型验证

3. 实践技巧

   • 对 $\alpha$ 调参：从 $0.01$ 开始，按 $0.05$ 步长尝试
   • 结合初始化：He初始化 + Leaky ReLU 效果最佳
   • 监控梯度分布：出现 $>15%$ 的零梯度时切换激活函数

五、PyTorch 实现示例

# ReLU 实现
relu_layer = nn.ReLU(inplace=True)  # inplace节省内存

# Leaky ReLU 实现（α=0.1）
leaky_relu = nn.LeakyReLU(negative_slope=0.1, inplace=True)

# 自定义参数化版本（动态α）
class AdaptiveLeakyReLU(nn.Module):
    def __init__(self, alpha=0.01, trainable=True):
        super().__init__()
        self.alpha = nn.Parameter(torch.tensor(alpha)) if trainable else alpha
        
    def forward(self, x):
        return torch.where(x > 0, x, self.alpha * x)

注：对于 Transformer 等新架构，可尝试 GELU 作为替代方案，但其计算复杂度较高。