大家好，欢迎来到IT知识分享网。
ICML2016
Understanding and Improving Convolutional Neural Networks via
Concatenated Rectified Linear Units
本文在深入分析CNN网络内部结构，发现在CNN网络的前几层学习到的滤波器中存在负相关。
they appear surprisingly opposite to each other, i.e., for each filter, there does exist another filter that is almost on the opposite phase
下图说明在第一卷积层，蓝色的直方图分布以-0.5为中心点，对称均匀分布，也就是说有较多成对的滤波器。越到后面的层，蓝色的直方图分布越集中，成对的滤波器越少。
也就是说学习到的滤波器存在冗余。对此我们设计了CReLU， It simply makes
an identical copy of the linear responses after convolution, negate them, concatenate both parts of activation, and then apply ReLU altogether
和其他方法结果对比
CReLU 的重构很好
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/16012.html
