大家好，欢迎来到IT知识分享网。
损失函数的惩罚项
机器学习中，一般损失函数后边会添加一个额外项，一般称作L1正则化L2正则化或者L1范数L2范数。L1、L2正则化可以看做是损失函数的惩罚项。对于线性回归模型，使用L1正则化得模型称作Lasso回归，使用L2正则化的模型称作Ridge回归（岭回归）。
L1正则化是指权值向量中各个元素的绝对值之和，例如|w1| + |w2|。
L2正则化是指权值向量中各个元素的平方和然后再求平方根。
L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，用于特征选择。
假设有如下带有L1正则化的目标函数等高线图：
L1正则化的目标函数求解
图中等值线是J0函数等值线，黑色菱形是L函数的图形。我们现在的目标就是不仅要原函数更接近紫色的小圈，同时要使得菱形值越小越好。并且加入L1范数的解，一定是某条等高线和菱形的切点。这个切点位于顶点时就是最优解。这个顶点的坐标为（0，w）。（二维情况有四个顶点，多维情况下有更多）
L2正则化可以产生参数值较小的模型，能适应不同的数据集，一定程度上防止过拟合，抗扰动能力强。
L2正则化的目标函数求解
L2正则的分析与L1类似，只不过L函数由菱形变成了圆形，仍旧求原曲线和圆形的切点作为最优解。此时切点不容易在坐标轴上，而是位于靠近坐标轴的部分，因此我们可以说L2范数能让解比较小（靠近0），但是比较平滑（不等于0）。
最后，我们所说的希望模型结构风险（SRM）最小化，是要求拟合误差足够小（经验风险ERM最小化），同时模型不要太复杂（正则化项极小化），这样得到的模型具有较强的泛化能力，即对未知的数据有更好的预测能力。
L1正则化和L2正则化L1正则化
就是在loss function后边所加正则项为L1范数，加上L1范数容易得到稀疏解（0比较多）。L2正则化就是loss function后边所加正则项为L2范数的平方，加上L2正则相比于L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（但不是等于0，所以相对平滑）的维度比较多，降低模型的复杂度。
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/166643.html
