正定，半正定矩阵

大家好，欢迎来到IT知识分享网。

本文介绍正定矩阵和半正定矩阵。

定义

正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。

正定

• 给定一个大小为$n\times n$ 的实方阵$A$ ，若对于任意长度为$n$的非零向量$x$ ，有$x^{T}Ax>0$ 恒成立，则矩阵$A$是一个正定矩阵。
• 此时，若$A$为对称方阵，则称$A$为对称正定矩阵。

半正定

• 给定一个大小为$n\times n$ 的实方阵$A$ ，若对于任意长度为$n$的非零向量$x$ ，有$x^{T}Ax\ge 0$ 恒成立，则矩阵$A$是一个半正定矩阵。
• 此时，若$A$为对称方阵，则称$A$为对称半正定矩阵。

可以看到半正定矩阵包含了正定矩阵，仅多出了等于零的一种情况，类似于正数和非负数的关系。

性质

以正定矩阵为例，半正定矩阵仅多了等于零的情况。

• 正定矩阵的行列式恒为正；

• 实对称矩阵A正定当且仅当A与单位矩阵合同；

• 若A是正定矩阵，则A的逆矩阵也是正定矩阵；

• 两个正定矩阵的和是正定矩阵；

• 正实数与正定矩阵的乘积是正定矩阵。

等价命题

对于n阶实对称矩阵A，下列条件是等价的（以正定矩阵为例）：

• A是正定矩阵；

• A的一切顺序主子式均为正；

• A的一切主子式均为正；

• A的特征值均为正；

• 存在实可逆矩阵C，使A=C′C；

• 存在秩为n的m×n实矩阵B，使A=B′B；

• 存在主对角线元素全为正的实三角矩阵R，使A=R′R 。

协方差矩阵半正定

• 在概率统计中，多维变量的协方差矩阵是对称矩阵，事实上同时它也是半正定矩阵：

推导

• 考虑一个由$n$个$m$维向量刻画的分布，即共$n$条数据，每条数据由一个$m$维向量表示：

$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& & x_{2n}\\ ⋮& & \ddots & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right]$$

• $X$的均值为${\mu }_X$
• $X$的协方差矩阵为:

$${\sum }_X=\frac{1}{n}(X-{\mu }_X)(X-{\mu }_X{)}^T$$

• 协方差矩阵 ${\Sigma }_X$，对其进行SVD分解：

$${\Sigma }_X=U\Sigma V^T$$

• 由于 ${\Sigma }_X$ 是对称矩阵，可以得到：

$$U=V$$

• 而且$U$是正交矩阵，有：

$$U^T{\Sigma }_{X}U=\Sigma$$

$$\Sigma =U^T(X-{\mu }_X)(X-{\mu }_X{)}^{T}U$$

$$\Sigma =(U^{T}X-U^T{\mu }_X)(U^{T}X-U^T{\mu }_X{)}^T$$

• 令$Y=U^{T}X-U^T{\mu }_X$：

$$\Sigma =Y{Y}^T$$

• 由于$\Sigma$是特征值为对角线元素的对角阵，因此对角线外元素为0，表示$Y$中向量相互之间不相关。

• 对于任意一个$\Sigma$中的特征值${\lambda }_i$，计算公式为：

$${\lambda }_i=Y_i{Y_i}^T=\sum _{j=1}^n{Y_{ij}}^2\ge 0$$

• 因此协方差矩阵的特征值非负，是半正定矩阵。

参考资料

• https://zhuanlan.zhihu.com/p/44860862

• https://baike.baidu.com/item/%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%98%B5/11030459?fr=aladdin