大家好，欢迎来到IT知识分享网。
项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步
1.均方差损失函数(Mean Squared Error)
均方差损失函数是预测数据和原始数据对应点误差的平方和的均值。计算方式也比较简单
M S E = 1 N ( y ^ − y ) 2 MSE = \frac{1}{N}(\hat y – y) ^ 2 MSE=N1(y^−y)2
其中，N为样本个数。
2.交叉熵损失函数(Cross Entropy Error Function)
在分类问题中，尤其是在神经网络中，交叉熵函数非常常见。因为经常涉及到分类问题，需要计算各类别的概率，所以交叉熵损失函数又都是与sigmoid函数或者softmax函数成对出现。
比如用神经网络最后一层作为概率输出，一般最后一层神经网络的计算方式如下：
1.网络的最后一层得到每个类别的scores。
2.score与sigmoid函数或者softmax函数进行计算得到概率输出。
3.第二步得到的类别概率与真实类别的one-hot形式进行交叉熵计算。
二分类的交叉熵损失函数形式
∑ − y i l o g ( y ^ i ) − ( 1 − y i ) l o g ( 1 − y ^ i ) \sum -y_ilog(\hat y_i) – (1-y_i)log(1-\hat y_i) ∑−yilog(y^i)−(1−yi)log(1−y^i)
上面的 y i y_i yi表示类别为1, y ^ i \hat y_i y^i表示预测类别为1的概率。
而多分类的交叉熵损失函数形式为
− ∑ i = 1 n y i l o g ( y ^ i ) -\sum_{i=1} ^n y_i log(\hat y_i) −i=1∑nyilog(y^i)
上面的式子表示类别有n个。单分类问题的时候，n个类别是one-hot的形式，只有一个类别 y i = 1 y_i=1 yi=1，其他n-1个类别为0。
3.MSE与sigmoid函数不适合配合使用
MSE的loss为
M S E = − 1 N ( y ^ − y ) 2 MSE =- \frac{1}{N}(\hat y – y) ^ 2 MSE=−N1(y^−y)2
如果其与sigmoid函数配合使用，偏导数为
∂ L o s s i ∂ w = ( y − y ^ ) σ ′ ( w x i + b ) x i \frac{\partial Loss_i}{\partial w} = (y – \hat y) \sigma ‘(wx _i+ b)x_i ∂w∂Lossi=(y−y^)σ′(wxi+b)xi
其中
σ ′ ( w x i + b ) = σ ( w x i + b ) ( 1 − σ ( w x i + b ) ) \sigma ‘(wx _i+ b) = \sigma (wx _i+ b) (1 – \sigma (wx _i+ b)) σ′(wxi+b)=σ(wxi+b)(1−σ(wxi+b))
于是，在 σ ( w x i + b ) \sigma (wx _i+ b) σ(wxi+b)的值接近0或者1的时候，其导数都接近0。这样会导致模型一开始的学习速度非常慢，所以MSE一般不会与sigmoid函数配合使用。
4.交叉熵损失函数与sigmoid函数配合使用
交叉熵损失函数与sigmoid函数配合使用，最终损失函数求导的结果为
∂ L o s s i ∂ w = ( y ^ i − y i ) x i \frac{\partial Loss_i}{\partial w} = (\hat y_i – y_i)x_i ∂w∂Lossi=(y^i−yi)xi
由此可见，求导的结果与 y ^ i − y i \hat y_i – y_i y^i−yi与 x i x_i xi的值有关，不会出现模型开始训练速度很慢的现象。
具体的推导过程见参考文献1
交叉熵损失函数求导
5.交叉熵损失函数与softmax函数配合使用
前面提到，在神经网络中，交叉熵损失函数经常与softmax配合使用。
L o s s = − ∑ i t i l n y i Loss = – \sum_i t_i lny_i Loss=−i∑tilnyi
softmax函数
y i = e i ∑ j e j = 1 − ∑ j ≠ i e j ∑ j e j y_i = \frac{e^i}{\sum_j e^j} = 1 – \frac{\sum_{j \neq i} e^j}{\sum_j e^j} yi=∑jejei=1−∑jej∑j=iej
接下来求导
∂ L o s s i ∂ i = − ∂ l n y i ∂ i = − ∑ j e j e i ⋅ ∂ ( e i ∑ j e j ) ∂ i = − ∑ j e j e i ⋅ ( − ∑ j ≠ i e j ) ⋅ ∂ ( 1 ∑ j e j ) ∂ i = ∑ j e j ⋅ ∑ j ≠ i e j e i ⋅ − e i ( ∑ j e j ) 2 = − ∑ j ≠ i e j ∑ j e j = − ( 1 − e i ∑ j e j ) = y i − 1 {\begin{aligned} \frac{\partial Loss_i}{\partial _i} & = – \frac{\partial ln y_i}{\partial _i} \\ & = -\frac{\sum_j e^j}{e^i} \cdot \frac {\partial (\frac{e_i}{\sum_j e^j})}{\partial_i} \\ & = -\frac{\sum_j e^j}{e^i} \cdot (- \sum _ {j \neq i}e^j ) \cdot \frac{\partial( \frac {1} {\sum_j e^j} ) } { \partial _i} \\ & = \frac { \sum_j e^j \cdot \sum_{j \neq i} e^j} {e^i } \cdot \frac { – e^i} { (\sum_j e^j) ^ 2} \\ & = -\frac { \sum_{j \neq i} e^j } { \sum_j e^j } \\ & = -(1 – \frac{ e ^ i } { \sum_j e^j } ) \\ & = y_i – 1 \end{aligned}} ∂i∂Lossi=−∂i∂lnyi=−ei∑jej⋅∂i∂(∑jejei)=−ei∑jej⋅(−j=i∑ej)⋅∂i∂(∑jej1)=ei∑jej⋅∑j=iej⋅(∑jej)2−ei=−∑jej∑j=iej=−(1−∑jejei)=yi−1
由此可见，交叉熵函数与softmax函数配合，损失函数求导非常简单！
参考文献
1.https://blog.csdn.net/bitcarmanlee/article/details/51473567
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/13020.html
