同理，偏置值$b$的梯度(更新步长)为：

可以看出，权值和偏置值的调整与$\sigma'(z)$无关，而与$\sigma(z)$有关。此外，$\sigma(z)-y$表示真实值与输出值之间的误差。当误差越大时，梯度就越大，$w$和$b$的调整就越快，训练速度就越快。

• 结论：

对比二次代价函数可以发现，代价函数的选择与激活函数有关。当输出神经元的激活函数是线性时例如，ReLU函数）二次代价函数是一种合适的选择；当输出神经元的激活函数是S型函数（例如sigmoid、tanh函数）时，选择交叉熵代价函数则比较合理。

3. 对数似然函数代价函数

• 定义：

考虑$n$个样本的输入$z_1, z_2, ...z_n$，对应的真实值为$y_1, y_2,..., y_n$取值为$0$或$1$，对应的第$i$个神经元输出为$o_i$，则对数$\log$似然代价函数可定义为：

$$C=-\sum_{i=1}^n y_i \log o_i$$
其中，$C$表示代价函数，$n$表示样本总数。

在深度学习中，对数似然函数常用来搭配softmax激活函数使用。

• 考虑softmax激活函数

假定神经网络的每个输出层神经元（假设共$n$个）都使用softmax激活函数：

$$o_j = \frac{e^{z_j}}{\sum_k e^{z_k}}$$
其中，$z_j$表示输出层第$j$个神经元的输入，$o_j$表示第$j$输出神经元的输出。$\sum_k e^{z_k}$表示所有输出层神经元的输入之和。

softmax函数的特点在于：

• 它把每个神经元的输入占当前层所有神经元输入之和的比值，当作该神经元的输出。这使得输出更容易被解释：神经元的输出值越大，则该神经元对应的类别是真实类别的可能性更高。
• 此外，softmax的输出是一个归一化的概率分布，能够衡量输出分布与真实分布之间的差距。

softmax函数求导：

分两种情况：

• $j=i$ 时：
  ∂oj∂zi=∂∂zi(ezj∑kezk)=(ezj)′⋅∑kezk−ezj⋅ezj(∑kezk)2=ezj∑kezk−ezj∑kezk⋅ezj∑kezk=oj(1−oj) ∂ o j ∂ z i = ∂ ∂ z i ( e z j ∑ k e z k ) = ( e z j ) ′ ⋅ ∑ k e z k − e z j ⋅ e z j ( ∑ k e z k ) 2 = e z j ∑ k e z k − e z j ∑ k e z k ⋅ e z j ∑ k e z k = o j ( 1 − o j )

  $$\begin{aligned} \frac{\partial o_j}{\partial z_i} &=\frac{\partial}{\partial z_i} \left(\frac{e^{z_j}}{\sum_k e^{z_k}}\right) \\&= \frac{(e^{z_j})' \cdot \sum_k e^{z_k} - e^{z_j}\cdot e^{z_j}}{\left(\sum_k e^{z_k}\right)^2} \\ &= \frac{e^{z_j}}{\sum_k e^{z_k}}- \frac{e^{z_j}}{\sum_k e^{z_k}} \cdot \frac{e^{z_j}}{\sum_k e^{z_k}}\\&=o_j(1-o_j)\end{aligned}$$

• $j\neq i$时：
  ∂oj∂zi=∂∂zi(ezj∑kezk)=0⋅∑kezk−ezj⋅ezi(∑kezk)2=−ezj∑kezk⋅ezi∑kezk=−ojoi ∂ o j ∂ z i = ∂ ∂ z i ( e z j ∑ k e z k ) = 0 ⋅ ∑ k e z k − e z j ⋅ e z i ( ∑ k e z k ) 2 = − e z j ∑ k e z k ⋅ e z i ∑ k e z k = − o j o i

  $$\begin{aligned} \frac{\partial o_j}{\partial z_i} &=\frac{\partial}{\partial z_i} \left(\frac{e^{z_j}}{\sum_k e^{z_k}}\right) \\&= \frac{0\cdot \sum_k e^{z_k} - e^{z_j}\cdot e^{z_i}}{\left(\sum_k e^{z_k}\right)^2} \\ &= -\frac{e^{z_j}}{\sum_k e^{z_k}} \cdot \frac{e^{z_i}}{\sum_k e^{z_k}}\\&=-o_j o_i\end{aligned}$$

求导完毕。

• softmax配合对数似然代价函数

考虑神经网络输出层神经元，对应多分类问题时。$o_k$表示第$k$个神经元的输出，$y_k$表示第$k$个神经元对应的真实值，取值为$0$或$1$。则总的代价函数为：

$$C=-\sum_k y_k \log o_k$$
其中，$o_k=\sigma(z_j)$。其中，$\sigma(\cdot)$表示softmax激活函数；$z_j=\sum w_{jk}x_k +b_j$为每个神经元的输入。

• 考虑权值和偏置值的更新

对权值$w_{jk}$求偏导得权值更新步长为：

$$\begin{aligned} \frac{\partial C}{\partial w_{jk}} &= \frac{\partial C}{\partial z_j} \cdot \frac{\partial z_j}{\partial w_{jk}} = \frac{\partial C}{\partial z_j}\cdot \frac{\partial(\sum w_{jk}x_k+b_j)}{\partial w_{jk}} \\&=-\sum_k x_k y_k \frac{\partial}{\partial z_j} (\log o_k) = -\sum_k x_k y_k \frac{1}{o_k}\frac{\partial o_k}{\partial z_j}(拆分求导) \\ &= -x_jy_j\frac{1}{o_j}\cdot o_j(1-o_j) - \sum_{k\neq j} x_ky_k\frac{1}{o_k}\cdot (-o_jo_k) \\ &= -x_jy_j(1-o_j) +o_j \sum_{k\neq j} x_ky_k (合并) \\ &= o_j \sum x_ky_k -x_jy_j \ \ \ 这里, \ \sum x_ky_k = x_j \\ &=x_j(o_j-y_j) \end{aligned}$$
上式中，$\sum x_ky_k = x_j$是由于softmax函数对应多分类真实值时，只能有一项为1（该项最可能为输出神经元$j$输出值对应的项），其余皆为0。

同理得偏置值更新步长为：

$$\frac{\partial C}{\partial b_j} = o_j -y_j$$

可以看出，权值和偏置得更新与输出值和真实值之间得误差有关，误差越大，权值和偏置更新得速度越快，训练得速度也就越快。

• 总结：

根据上述分析可得，对数似然代价函数配合softmax函数和交叉熵代价函数配合S型函数的原理相似，都能有效地解决权值和偏置值更新速度慢导致得训练速度慢的问题。二者联系：对数似然代价函数在二分类时，可以简化为交叉熵代价函数的形式。

• 扩展：

在Tensorflow中：

tf.nn.sigmoid_cross_entropy_with_logits() # 表示sigmoid搭配使用交叉熵。
tf.nn.softmax_cross_entropy_with_logits() # 表示softmax搭配使用的交叉熵。

参考资料

讲师Ben: 炼数成金课程——深度学习框架Tensorflow学习与应用
softmax的log似然代价函数（公式求导）