深度学习之激活函数——Leaky ReLU
Leaky ReLU激活函数是为了解决ReLU激活函数会出现的dead relu神经元死亡的现象，而这一现象的根本原因是ReLU函数在x0的范围内梯度恒为0，无法更新参数。所以Leaky ReLU将x0的部分换成一个斜率很小的一个线性函数来解决这一问题。
·
Leaky ReLU激活函数是为了解决ReLU激活函数会出现的dead relu神经元死亡的现象，而这一现象的根本原因是ReLU函数在x<0x<0x<0的范围内梯度恒为0，无法更新参数。所以Leaky ReLU将x<0x<0x<0的部分换成一个斜率很小的一个线性函数来解决这一问题。
函数表达式
f(x)=max{αx,x},其中α<<1 f(x)=max\{\alpha x,x\},其中\alpha<<1 f(x)=max{αx,x},其中α<<1
当x<0x<0x<0时，函数值为f(x)=αxf(x)=\alpha xf(x)=αx，比如像f(x)=0.001xf(x)=0.001xf(x)=0.001x；当x>0x>0x>0时，函数值为f(x)=xf(x)=xf(x)=x
函数图像
函数特性
虽然其是ReLU的优化，但是实验中其整体效果不如ReLU（或者说不相上下，但是在ReLU调参合理的情况下，Leaky ReLU优势很弱）。如果数据处理后绝大部分为正数或者归一化到(0,1)，则无需使用Leaky ReLU。
优点：
- 可以在一定程度上解决ReLU出现的dead ReLU问题，虽然斜率α\alphaα的值很小，但是依然存在梯度可以更新
缺点：
- 由于该函数很像一个线性函数，所以其对复杂分类的效果不是很好
更多推荐
22
0- 0
已为社区贡献5条内容
所有评论(0)