范数是一种衡量向量长度的函数，它在机器学习中用于衡量模型参数的大小。范数必须满足三个条件：非负性、齐次性和三角不等式。在机器学习中，常用的范数有：

L_0

• 范数：表示向量中非零元素的个数，通常用于实现稀疏性。但是，由于它是NP难问题，不易优化。

L_1

• 范数：也称为曼哈顿距离，是向量中各元素绝对值之和。它倾向于产生稀疏的权重向量，即让一些权重趋近于零，从而实现特征选择。

L_2

• 范数：也称为欧几里得距离，是向量元素平方和的平方根。它倾向于使权重值变得较小，但不会直接导致权重稀疏。

正则化是一种在损失函数中加入额外项的技术，用于防止模型在训练数据上过度拟合。它通过对模型的参数施加约束来降低模型的复杂度。正则化项通常与模型参数的大小或数量相关，旨在鼓励模型学习简单的规律，而不是过度拟合训练数据。在深度学习中，正则化通常涉及对网络权重的约束，以防止它们变得过大或过复杂。

最常见的正则化技术包括：

• L1正则化（Lasso）：通过在损失函数中增加权重的。 L_1范数来实现正则化。它倾向于产生稀疏权重矩阵，即将一些权重推向零。
• L2正则化（Ridge）：通过在损失函数中增加权重的。L_2范数来实现正则化。它会使权重值变得较小，但不会直接导致权重稀疏。
• Elastic Net：结合了L1和L2正则化的优点，同时使用L_1和L_2范数。

正则化有助于提高模型的泛化能力，即在未见过的数据上的表现。例如，L1正则化可以通过惩罚项促使一些权重趋向于零，从而降低模型的复杂度并防止过拟合。而L2正则化则通过惩罚项使权重值变得较小，从而控制模型的复杂度。