大家好，欢迎来到IT知识分享网。

大家好，今天要讲的内容是，方差、协方差和协方差矩阵。

方差、协方差和协方差矩阵是重要的数学概念。

很多机器学习算法，例如PCA主成分分析、LDA线性判别分析、多元高斯分布等等，都要依赖它们。

1.方差

方差描述了一组随机变量的离散程度。

它等于每个样本值和全部样本的平均值差的平方和，再求平均数，记作var：

如果有m个样本，每个样本都有一个特征值x，m个样本的平均值是μ，那么x的方差等于m分之西格玛xi-μ的平方。

例如，计算数字1到5的方差：

首先计算出平均值3，然后计算这些数字和平均值差的平方和，再除以5，得到方差是2。

很多时候，为了后续计算的方便，会对样本进行去中心化的处理：

将全部样本按照平均值进行平移后，可以得到方差x，它等于m分之西格玛xi的平方。

这样就可以在不影响样本分布的情况下，简化计算。

例如，1到5，每个数字都向负方向移动3个单位，得到-2、-1、0、1、2：

计算它们的方差，结果仍然是2。

2.协方差

协方差描述了不同特征之间的相关情况：

通过计算协方差，可以判断一组数据中的不同特征之间，是否存在关联关系。

设样本有两个特征a和b，训练集中一共有m个样本。

a和b之间的协方差记作cov(a, b)：

它等于m个样本的特征a减均值μa，乘以，特征b减均值μb，将它们的乘积累加到一起，再除以m-1。

例如，在平面上设置(1, 1)、(2, 2)等等(5, 5)，这5个样本：

每个样本有a和b两个特征，a的平均值是μa，b的平均值是μb，它们都等于3。

从整体上来说，当a大于平均值μa时，b也大于平均值μb，或者a小于μa，b也同时小于μb：

这时计算出a和b的协方差就是正的，这说明a和b的变化趋势相同，a和b是正相关的：

换句话说，就是a变大的时候，b也变大，a变小时，b也变小。

如果有(1, -1)、(2, -2)等等到(5, -5)，这5个样本：

我们会发现，a小于μa时，b大于μb，而a大于μa时，b小于μb。

此时计算a和b的协方差就是负的：

这说明a和b的变化趋势不同，a和b是负相关的。

也就是说，a变大的时候，b变小，a变小时，b变大。

如果样本整体的协方差刚好等于0，那么就说明a和b不相关。

例如，有(2，2)、(2, 4)、(3，3)等5个样本：

根据公式，计算a和b的协方差刚好等于0：

从图中也可以看出，a和b的分布没有规律。

为了更方便的计算协方差，我们同样可以将数据进行去中心化：

得到的协方差不会有变化。

总结来说，协方差表示了不同特征之间的相关情况：

两个特征之间的协方差大于0，则正相关，小于0，负相关，等于0，不相关。

3.协方差矩阵

最后来看协方差矩阵：

协方差矩阵计算了不同维度之间的协方差，它由方差和协方差两部分组成。

其中，对角线上的元素，是各个随机变量的方差。

非对角线上的元素为两两随机变量之间的协方差。

协方差矩阵是一个对称矩阵。

例如，矩阵C1是a和b两个特征的协方差矩阵：

矩阵C2是x、y、z三个特征的协方差矩阵：

而矩阵C3是x1到xn，n个特征的协方差矩阵：

在计算协方差矩阵时，需要将m个样本的特征按照列向量的方式，保存到矩阵中：

然后计算矩阵和矩阵转置的乘积，得到协方差矩阵：

例如，m个样本，每个样本有a和b两个特征。

将这些样本按照列向量的方式，保存到矩阵X中：

计算m个样本的协方差矩阵，它等于X乘以X的转置，再除以m，它是一个2*2的矩阵：

那么到这里，方差、协方差和协方差矩阵就讲完了，感谢大家的观看，我们下节课再会。