大家好，欢迎来到IT知识分享网。
1. 概述
KL散度存在不对称性，为解决这个问题，在KL散度基础上引入了JS散度。
\[J S\left(P_{1} \| P_{2}\right)=\frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L\left(P_{2} \| \frac{P_{1}+P_{2}}{2}\right) \]
JS散度的值域范围是[0,1]，相同则是0，相反为1
2. 性质
这个公式对于\(P_1\)和\(P_2\)明显是对称的，而且由于是两个KL叠加，故JS具有对称性和非负性。
当 \(P_{1} = \frac{P_{1}+P_{2}}{2} = P_{2}时\)，两个KL值均为0，故JS为0。也就是说当两个分布相同时JS为0。
KL散度和JS散度度量的时候有一个问题：
如果两个分配P,Q离得很远，完全没有重叠的时候，那么KL散度值是没有意义的，而JS散度值是一个常数。这在学习算法中是比较致命的，这就意味这这一点的梯度为0。梯度消失了。
3. 证明
证明两个分布完全不重叠时，JS散度是一个常数。
\[\begin{aligned} JS(P \| Q) &= \frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L\left(P_{2} \| \frac{P_{1}+P_{2}}{2}\right) \\ &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{\frac{p(x)+q(x)}{2}}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{\frac{p(x)+q(x)}{2}}\right) \\ &=\frac{1}{2} \sum p(x) \log \left(\frac{2 p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{2 q(x)}{p(x)+q(x)}\right) \\ &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \end{aligned} \]
由于两个分布完全不重叠，故必有p(x)或q(x)为0
p(x)=0时
\[\begin{aligned} JS(P \| Q) &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \\ &=\frac{1}{2} \sum 0 \times \log \left(\frac{0}{0+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{0+q(x)}\right)+\log 2 \\ &= \log 2 \end{aligned} \]
q(x)=0时
\[\begin{aligned} JS(P \| Q) &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \\ &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+0}\right)+\frac{1}{2} \sum 0 \times \log \left(\frac{0}{p(x)+0}\right)+\log 2 \\ &=\log 2 \end{aligned} \]
这就是JS散度的缺陷，当两个分布完全不重叠时，即便两个分布的中心距离有多近，其JS散度都是一个常数，导致梯度为0，无法更新。
参考链接
https://blog.csdn.net/weixinhum/article/details/85227476
https://blog.csdn.net/Invokar/article/details/88917214
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/30166.html
