MLDL中的线性代数知识补

线性变化的定义：

线性映射（linear transformation ）是从一个向量空间V到另一个向量空间W的映射且保持加法运算和数量乘法运算，而线性变换（linear mapping）是线性空间V到其自身的线性映射

保持加法运算和数乘特性与信号系统中的线性系统一个意思。

一般来说，MLDL中的矩阵都是方阵，所以接触到较多的就是线性变化。

一个矩阵可以表示线性变化，如果以坐标点来理解，矩阵可以看作是要对向量v做一个坐标嵌入。比如最简单的，单位矩阵就是标准直角坐标系。因为对角都是1，其余都是0。那么意思就是把原始向量v映射到直角坐标系后，它的坐标点会变做多少。而可以认为，矩阵每行每列都是单位正交基。

如果不是这种单位阵的情况呢？比如λI ，对角线上的单位1变成了由λ控制缩放因子。这其实也就是一个非标准的直角坐标系。譬如λ=（1，2） 那么在标准直角坐标系下的向量(1，1)'如果映射到这个新的非单位直角坐标系中就是(1,2)'了。因为新的空间在y轴的1个单位由原来的数值1变成数值2。

那么 如果不是直角坐标系，也就是矩阵非单位阵的情况呢？譬如A=|3,1;2,3| ，在直角坐标系下有x=(2,2)'，经过A的作用(Ax)，得到的新坐标系的表示是(8,10)'

不难发现，矩阵A操作过后的向量进行了坐标系变化，所以矩阵就描述的是一种坐标系间的变化。另外，注意我们上面进行变化操作时使用的是左乘，这意味着是基于行的变化，新坐标系表示的第一行是矩阵A的第一行的元素与向量x的点乘。这就意味着我们可以根据行来理解A，其第一个坐标轴是(3,1)方向的，第二坐标轴是(2,3)方向的。

既然说到矩阵是对向量进行坐标系的变化，所以矩阵可逆也就意味着可以把变化后的坐标系变化回来。

那么我们其实只要想，什么情况没法变化回来。很简单，信息混叠了以后，这就意味着矩阵的n个向量存在线性无关。等价于A无法构成一个n维度坐标系，或者说体积元的体积变成0了，所以一一对应关系不存在了。

那么如何判断A是否可逆呢？ 数学上定义det(A)或者写成|A|=0时，A不可求逆。

那么从一个2维矩阵的行列式求法来解释一下行列式的具体意义。det(A)=对角元素乘积-另一对角元素乘积。如果把A矩阵做对角化或者上三角阵，那么就直接是对角线元素乘积了。行列式的绝对值是线性变化的基的乘积，如果把两个基看作是有长度线段，那么det的绝对值就是其围成的面积，行列式的符号代表方向。行列式就是有向面积。

所以很多定义一目了然，比如可对角化等价于det(A)!=0，等价于矩阵可逆。又比如det(a)det(b)=det(ab)，因为det就是一个对原始面积(单位直角坐标系面积元是1x1=1)的一个缩放系数(新面积元/旧面积元)，这种缩放系数是满足乘法规则的。

接下来，我们从PCA来介绍一些mldl中经常考虑的矩阵知识～

PCA是求协方差矩阵的特征值和特征向量。那么我们就看什么叫特征向量，从定义上：

Av=λv 存在非零向量v以及数值λ使得等式成立，称λ为特征值，v是特征向量。这很好理解，对于线性变化A，有特征向量经过该变化仍可以用该向量的线性拉伸表达，所以该向量(们)很显然是线性变化A下的不变特征。

只考虑A为方阵的情况，我们可以化简为 vdet(A-λI)=det(0)，而v是非零向量，所以推出det(A-λI)=0

根据计算就可以得到至多m行个特征值，每一个特征值带入Av=λv，都可以解出一个特征向量。特征值就是该线性变化在某一维上的缩放因子，带进去解出来的特征向量意味着与该特征向量共线的向量都会被A操作缩放特征值倍。所以特征向量可以看作是对A的一种成分分析，如果从变化的角度考虑，可以认为是在各个特征方向上对向量进行变化。

下面是一个PCA的理解。

http://www.360doc.com/content/13/1124/02/9482\_331688889.shtml