大家好，欢迎来到IT知识分享网。
KL散度
KL-divergence(Kullback–Leibler divergence)，KL散度，KL距离，又叫相对熵(relative entropy)，衡量两个概率分布之间的不同程度，是描述两个概率分布P和Q差异的一种方法
就是信息论学的相对熵
最简单的情况：当KL-divergence为0时，两个分布完全相同。
P和Q越相似，KL散度越小
KL散度的取值范围是[0,+∞]
KL divergence是非负的，不对称的
KL散度计算过程相对熵（KL散度）计算过程_手撕机的博客-CSDN博客_kl散度计算
双向KL散度
在R-Dropout中有出现，由于 KL 散度本身具有不对称性(即KL(P|Q)不等于KL(Q|P))，作者通过交换这两种分布的位置以间接使用整体对称的 KL 散度，论文中称之为双向 KL 散度
高斯分布的KL散度
JS散度
JS散度是基于KL散度的变体，解决了KL散度非对称的问题
同样是二者越相似，JS散度越小。
- JS散度的取值范围在0-1之间，完全相同时为0
- JS散度是对称的
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/23730.html
