激活函数中的硬饱和、软饱和、左饱和、右饱和以及特性

大家好，欢迎来到IT知识分享网。

假设h(x)是一个激活函数，对于其导数而言，当x趋近于正无穷时，函数的导数趋近于零，我们称其为右饱和；同理，当x趋近于负无穷时，函数的导数趋近于零，称其为左饱和。若一个函数既满足左饱和又满足右饱和，则该函数为饱和，典型的有sigmoid、Tanh函数。

硬饱和：

对于任意的x。若存在常数c，当x>c时，恒有 成立，则称其为右硬饱和。同理，若存在常数c，当x<c时，恒有成立，则称其为左硬饱和。当一个函数既满足又硬饱和和左硬饱和，则称该函数为硬饱和。

软饱和：

对于任意的x。若存在常数c，当x>c时，恒有 ，则称其为右软饱和。同理，若存在常数c，当x<c时，恒有，则称其为左软饱和。当一个函数既满足右软饱和和左软饱和，则称该函数为软饱和。

（1）sigmoid：

数学表达式：

特性：sigmoid是使用范围最广的一类激活函数，具有指数函数的形状，在物理上最接近神经元。它的输出范围在0~1之间，可表示成概率或者用于数据的归一化。

它的缺点也很明显，其一是具有软饱和性。当其后向传递时，sigmoid向下传递一个包含了 的因子。因此，一旦落入饱和区， 就越趋近于0，这就导致向后传递的梯度越来越小。因而，网络也很难得到有效的训练，这就是梯度消失问题。一般在5层内就会出现梯度消失现象。其二，sigmoid的输出一直是大于0的，这种使输出不为零均值的现象，将其称为偏置。这就导致后一层的神经元将得到上一层神经元输出的非零值的信号作为输入。

（2）tanh：

数学表达式为：

特性：其输出均值为零，而且收敛的速度要比sigmoid快，但是也具有软饱和性。

（3）ReLU（Rectified Linear Units）:

其函数表达式为：。

特性：它的翻译中文名叫线性整流单元或者修正线性单元。它在x>0的时候，不存在饱和问题，从而使得梯度不会保持一直衰减，梯度消失问题也得到解决。但是，随着训练的推进，部分输入会落入硬饱和的区域，这就导致权值无法正常更新，我们将该现象成为“神经死亡”。该函数也具有偏置现象，因为输出的均值大于0。偏置现象和“神经死亡”共同影响网络的收敛性。

       导致“神经死亡”的原因在于当x<0时，该函数值一直为0。为了改进这一问题，Kaiming He，Xiangyu Zhang等人提出了一个参数化整流线性单元P-ReLU改进模型拟合，将常数0换成 ，为学习参数，初始化的数值设定为0.25。

（4）ELU：

也就是将ReLU中的常数0，替换为。

特性：左侧软饱和，右侧无饱和。右侧的线性部分可以解决梯度消失问题，左侧的软饱和对输入噪声具有更好的鲁棒性，而且ELU的输出均值为0，所以收敛的速度也很快。