大家好，欢迎来到IT知识分享网。
信息增益表示得知特征空间X的信息而使得类Y的信息不确定性减少的程度。信息增益依赖于特征，不同的特征往往具有不同的信息增益，信息增益大的特征具有更强的分类能力。
特征A对训练数据集D的信息增益 ，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即
通常，熵H(Y)与条件熵H(Y|X)之差称为互信息，决策树学习中的信息增益等价于训练数据集中类与特征的互信息。
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/21324.html
