额外补充一点，经常我们希望用PCA对X进行压缩，比如只保留k
PCA中我们需要去除列空间中的一些维度，也就是说需要将列空间中的一些维度的权重变为零，所以需要投影到...
零空间,也称为核(kernel),是矩阵 A 映射到零向量的所有输入向量的集合。零空间的维度称为零空间维度(nullity),它反映了矩阵映射中失去的信息量。换句话说,零空间的维度告诉我们有多少个输入方向被矩阵映射到零。 零空间不仅仅是一个抽象的概念,它在解线性方程组时扮演着重要角色。假设我们解方程 A \mathbf{x}...
线性代数基本定理(上)是矩阵四个基本空间的维度问题。矩阵的行空间和列空间维度相等,都等于矩阵的秩 r ,零空间和左零空间的维度分别为 n-r 和m-r。 线性代数基本定理(中)是关于矩阵四个基本空间的正交关系。矩阵的行空间和零空间,列空间和左零空间互为正交补。 本文介绍的 SVD 就是线性代数基本定理(下)。
通过SVD可以得到PCA相同的结果，但是SVD通常比直接使用PCA更稳定。因为PCA需要计算X⊤X的值，对于某些矩阵，求协方差时很可能会丢失一些精度。LDA的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，...
上面的矩阵是对称的,所以这个变换是一个对x,y轴的方向一个拉伸变换(每一个对角线上的元素将会对一个维度进行拉伸变换,当值>1时,是拉长,当值<1时时缩短)。 因此,特征向量的代数上含义是: 将矩阵乘法转换为数乘操作; 特征向量的几何含义是: 特征向量通过方阵 变换只进行伸缩,而保持特征向量的方向不变。
基于这个原理,奇异值分解可以用来进行图片压缩。例如在本例中,原始图片的维度是 870x870,总共需要保存的像素值是:870x870=756900。若使用 SVD,取前 50 个最大的奇异值即可,则总共需要存储的元素个数为: (870+1+870)x50=87050 显然,所需存储量大大减小了。在需要存储许多高清图片,而存储空间有限的情况下,就...
我们注意到XTX是m×m实对称矩阵,于是先对XTX进行特征分解: V的列向量是单位特征向量,对角阵∧中的对角元素是特征值,且我们对特征值进行降序排列。假设X的秩为r,那么非零的特征值有r个。 V中的列向量(v1, v2, ...vr,.. vm)可以看成是m维空间中的m个标准正交基。XTX特征分解就相当于一个线性变换,用...
我们的目标是识别数据集中的模式,所以希望数据分布在每个维度上,并且在这些维度之间是有独立性的。方差作为可变性的度量标准,本质上量化了数据集分散的程度。用数学术语来说,它表示与平均的平均平方偏差。计算方差的公式用var(x)表示如下: 协方差量化了两组有序数据中对应元素相似的程度。用cov(x, y)表示变量x和...
上面的矩阵是对称的,所以这个变换是一个对x,y轴的方向一个拉伸变换(每一个对角线上的元素将会对一个维度进行拉伸变换,当值>1时,是拉长,当值<1时时缩短),当矩阵不是对称的时候,假如说矩阵是下面的样子: 它所描述的变换是下面的样子: 这其实是在平面上对一个轴进行的拉伸变换(如蓝色的箭头所示),在图中,蓝...