大家好，欢迎来到IT知识分享网。

笔记—线性代数的本质【3B1B】

之前我以为我缺的只是线性代数，现在我觉得我缺的还有概率论、微积分…

今天的主题叫作3Blue1Brown带我重新认识线性代数，整个视频不到3小时，但是，理解其中的概念需要花点时间，尤其是对于4年左右没有碰过相线性代数的我来说。

看完整个系列会明白，什么是向量，什么又是矩阵（矩阵乘法为什么是那么算的），非方阵又代表着什么，它和向量点积、叉积有什么关系？什么是特征向量？特征值？特征基？

向量

向量是什么？有序列表（计算机学）？有方向的箭头（物理学）？好的，我们今天讲数学。
数学中，向量是一个起点在原点，终点指向有序列表的箭头。

基向量：用来构成向量空间的一组向量，并不唯一，但是通常选取单位向量。

如何看待向量的加法（vector addiction）和数乘(scalar multiplication)？

加法（把一个点，从原点以\(\begin{bmatrix}a \\ b\end{bmatrix}\)为运动模式,再以\(\begin{bmatrix}a \\ b\end{bmatrix}\)为起点，以\(\begin{bmatrix}c\\d\end{bmatrix}\)为运动模式，会到达\(\begin{bmatrix}e\\f\end{bmatrix}\)）。

\(\begin{bmatrix}a\\b\end{bmatrix}\)，就是先向\(\hat{i}\)方向运动a，再向\(\hat{j}\)方向运动b。先向\(\hat{i}\)方向运动a，也可以理解为，把\(\hat{i}\)拉伸a倍，如果a是负数，就是反向拉伸a倍。

乘法，也就是将\(\begin{bmatrix}a \\ b\end{bmatrix}\)拉伸\(\vert c \vert\)倍，c称为标量(scalar)，c如果是负数，就是反向拉伸。

那该平面上的所有点，都可以用基向量的线性组合(linear combination of \(\hat{i}\) and \(\hat{j}\))[缩放再相加]来表达。

每当我们用数字表达向量时，它都有赖于我们所使用的基。

向量张成的空间(the span of the vectors)就是这些向量线性组合的集合(the set of all their linear combination)。

以两个向量为例，如果它们不共线，它们可以张成一个2维的空间；如果它们共线，它们只可以张成一条直线（1维的）；如果它们都是零向量，它们就只能张成一个点（0维的）。

当你减少一个向量，并没有改变其他向量张成的空间，这个向量就是和其他向量线性相关(linearly dependent)的，也就是说这个向量可以用其他向量的线性组合来表示。

相应地，如果加入一个向量，它增加了其他向量张成空间的维数，那这个向量和其他向量就是线性无关(linearly independent)的。

The basis of a vector space is a set of linearly independent vectors that span the full space.
向量空间的基是张成该空间的一组线性无关的向量。

矩阵

线性变换(linear transformation)：变换就是对空间的向量运用一个函数（使它从之前的位置，变换到，之后的位置），而线性就是限定了变换的特性：1️⃣变换后，原点还是原点；2️⃣所有直线还是直线。

Gird lines remain parallel and evenly spaced.网格线保持平行且等距分布。

一个二维线性变换完全由4个数字（\(\hat{i}\) 和\(\hat{j}\) ）决定。

所以只要追踪\(\widehat{i}\)\(\begin{bmatrix}1\\0\end{bmatrix}\)，\(\widehat{j}\)\(\begin{bmatrix}0\\1\end{bmatrix}\)变换后的位置\(\begin{bmatrix}a\\b\end{bmatrix}\),\(\begin{bmatrix}c\\d\end{bmatrix}\)，就可以得到这个平面上任何一个向量\(\begin{bmatrix}x\\y\end{bmatrix}=x\begin{bmatrix}1\\0\end{bmatrix}+y\begin{bmatrix}0\\1\end{bmatrix}=x\widehat{i}+y\widehat{j}\)去了哪里。而\(\begin{bmatrix}a&c\\b&d\end{bmatrix}\)就是一个矩阵，它表示了一种线性变换(linear transformation)。而这个计算被称为矩阵向量乘法(matrix-vector multiplication)。

剪切变换\(\begin{bmatrix}1&1\\0&1\end{bmatrix}\)，逆时针旋转90°变换\(\begin{bmatrix}0&-1\\1&0\end{bmatrix}\)

Affine transformation

如果一个变换是列线性相关的，这个变换可以将原先整个空间的向量变换到一条线上。

矩阵是描述线性变换的语言。矩阵向量乘法，就是描述一特定向量经过线性变换后，它变成了什么。

唉？这不就是定义一个函数，和给输入一个实例参数嘛？

矩阵乘法与复合线性变换

刻在脑子的运算方式告诉我，矩阵乘法是这么算的。

可是，为什么呢？为什么要这么算呢？不这么算不行吗？

理解矩阵乘法的核心，其实需要理解矩阵表达的空间含义。矩阵是一种变换，矩阵的乘法就是两个变换合到一起，它是一种什么样的变换。这个表达和向量的加法有点类似吼。

首先看\(\widehat{i}\)经过变换，先去到了\(\begin{bmatrix}a\\b\end{bmatrix}\)，后去到了：\(\begin{bmatrix}e&g\\f&h\end{bmatrix}\begin{bmatrix}a\\b\end{bmatrix}=a\begin{bmatrix}e\\f\end{bmatrix}+b\begin{bmatrix}g\\h\end{bmatrix}=\begin{bmatrix}ae+bg\\af+bh\end{bmatrix}\)

接着看\(\widehat{j}\)经过变换，先变成了\(\begin{bmatrix} c\\d \end{bmatrix}\)，后变成了：\(\begin{bmatrix}e&g\\f&h\end{bmatrix}\begin{bmatrix}c\\d\end{bmatrix}=c\begin{bmatrix}e\\f\end{bmatrix}+d\begin{bmatrix}g\\h\end{bmatrix}=\begin{bmatrix}ce+dg\\cf+dh\end{bmatrix}\)

好的， 这两个变换的综合，就和这个变换\(\begin{bmatrix}ae+bg&ce+dg\\af+bh&cf+dh\end{bmatrix}\)一样。

矩阵乘法满足交换律嘛？那结合律呢？

\(M_1M_2\neq{M_2M_1}\)，\(M_1(M_2M_3)=(M_1M_2)M_3\)。从空间变换的角度，是不是就很容易理解呢？

The purpose of computation is insghts, not numbers. —Richard Hamming

And let computers do the computing!

行列式

如果你还记得的话，行列式是这么☝️计算的（好的，不学习的话，我已经忘了😢）。

下面告诉你，为什么是这么算？它表达了是什么？

行列式的绝对值，表达的是线性变换（矩阵运算）后，空间缩放的比例（The determinant of a transformation）。

行列式的正负，表示空间有没有发生翻转。当行列式是负数时，空间发生翻转（也可以叫作空间发生了变向，起初\(\widehat{i}\)在\(\widehat{j}\)右边，变换后，\(\widehat{i}\)在\(\widehat{j}\)左边）[Orientation has reversed]。

而当矩阵的行列式为0时，它表示：这个线性变换将空间压缩到更小的维度上。

三维空间中，矩阵行列式的绝对值，表示的是，单位平行六面体经过线性变换（矩阵）后的体积（Volume of the parallelepiped）。

线性方程组与矩阵的逆

线性方程组（a,b,c,d,e,f是常数，x,y是未知数，我们要求解的是未知数）

矩阵代表一种线性变换，它将某个向量，变换到特定的位置。线性方程组，需要求解的就是变换前的向量。求解这个未知数，就是将这个变换变换回去（Inverse transformation），也就是矩阵的逆。

一个什么都不做的变换，叫作恒等变换identity transformation （对角要素为1，其他全为零）

但是，当行列式为零时，它将这个向量压缩到更小的空间上，而将空间解压缩（一个输入，需要对应多个输出）是不可行的（没有函数可以做到），此时，变换\(A\)不存在\(A^{-1}\)。

而不存在逆变换，也并不意味着方程一定没有解。当\(\vec{v}\)恰好位于压缩的空间内时，方程解存在。

秩（rank）表示空间变换后的维数。矩阵\(A\)的列空间，表示的是，所有\(A\vec{v}\)输出向量的集合，也就是基向量变换后张成的空间（列向量张成的空间）。也就是说，秩是矩阵列空间的维数。

如果这个变换没有降低维数，秩和列空间数目相等，就叫列满秩。

如果这个变换最终的结果是原点，那它的解集就是零空间。

降维变换后，能够落到原点的向量张成的空间，叫作矩阵的零空间(null space)或核(kernel)。

向量的点积与叉积

非方阵表示的不同维数的线性变换；它的列数，表示原空间的基向量张成的空间维数，而行数，表示变换后基向量张成的空间维数。

\(\begin{bmatrix}a&b\end{bmatrix}\)表示从一个二维空间，变换成一个一维空间（\(\widehat{i}\)从\(\begin{bmatrix}1\\0\end{bmatrix}\)到了数轴上的\(a\)处，而\(\widehat{j}\)从\(\begin{bmatrix}0\\1\end{bmatrix}\)到了数轴上的\(b\)处）。

向量点积

两个长度相等的向量点积的结果，是对应行相乘再相加。

几何解释：

如果两个向量的夹角小于90°，它们的点积结果为正；如果两向量夹角大于90°且小于180°，它们的点积结果为负。

不过为什么是这么算的呢？

从线性变换的角度看

向量点积，就是将左边这个向量看成一个多维到1维的线性变换\(\begin{bmatrix}a&b&c\end{bmatrix}\)，这不过这个线性变换对应着高维空间的某个向量\(\begin{bmatrix}a\\b\\c\end{bmatrix}\)。

经过这个变换（投影矩阵）\(\begin{bmatrix}a&b\end{bmatrix}\)，\(\widehat{i}\)经过变换得到的数值，正好是这个变换对应的向量的横坐标，而\(\widehat{j}\)经过变换得到的数值，也正好对应这个变换对应的向量的纵坐标。

所以应用这个线性变换，和与高维空间的向量进行点积计算的结果相同。此时这个向量被称为这个变换的对偶向量。

向量叉积

一般计算

几何解释：

如果，\(\vec{v}\)在\(\vec{w}\)左边，这个结果就是正的；如果\(\vec{v}\)在\(\vec{w}\)右边，这个结果就是负的。

而两个三维向量叉积的结果是一个向量：

它的计算过程是这样的：

从线性变换的角度看

根据\(\vec{v}\)和\(\vec{w}\)定义一个投影变换，并找到这个投影变换的对偶向量，这个对偶向量就是\(\vec{v}\)和\(\vec{w}\)叉积的结果。

根据二维向量叉积的几何解释，来推导三维向量叉积的计算过程。它是一个平行六面体的体积，输入一个向量，可以得出这个平行六面体的体积。而这个函数如果是线性的，我就可以用一个矩阵来表示。

并且这个矩阵对应着三维空间的一个向量，输出结果对应着这两个向量的点积。

其实点积对偶性，和三维叉积的几何解释（左边应用了一个投影，将三维向量投影到垂直于\(\vec{v}\)和\(\vec{w}\)构成的平行四边形的向量上，为啥就等于这个平行六面体的体积）我还不是很懂。不过，就先这样吧…

基变换

向量的表达依赖于坐标系（基向量）

矩阵\(\begin{bmatrix}a&c\\b&d\end{bmatrix}\)表示，将一组基向量，变换成另一组基向量；将它应用到一个向量\(\begin{bmatrix}x\\y\end{bmatrix}\)上时，它是将变换后的坐标，对应到变换前的坐标。

基变换与矩阵变换结合起来看，首先应用一个基变换矩阵，将变换后的坐标系上的向量，转换到标准坐标系（用标准坐标系描述的同一向量），应用标准坐标系下的线性变换后，再将这个变量转回到基变换后的坐标系中。

An expression like \(A^{-1}MA\) suggest a mathematical sort of empathy.

\(M\)代表的是你所见的变换，而\(A^{-1},A\)表示的是视角的转移。

矩阵的特征向量与特征值

特征向量是线性变换（矩阵）后，没有离开它张成空间（没有发生旋转）的向量；变换前后，它的缩放因子，被称为特征值。

特征基：基向量恰好是特征向量。对应的矩阵是对角阵（除了对角元以外的其他元素均为0的矩阵）。

矩阵对角化

抽象向量空间

函数的线性变换？一个函数变换是线性的，需要满足：可加性，成比例（一阶齐性）

求导是线性运算，求导和线性变换？

克莱姆法则（Cramer’s Rule）

线性方程组

Gaussian Elimination 高斯消元法

正交变换

向量是以原点为起点，终点是这个向量空间某个点的箭头；矩阵代表的是一种线性变换。

一开始，我以为我理解了什么是向量，直到我看到了抽象向量空间。

所有的事情又变得魔幻了起来，好像我对函数，微积分也不是很理解呢？…

越往后，笔记逐渐草率起来，不是我不认真，是我还没有理解…