LDA算法与PCA算法都是常用的降维技术。二者的区别在于:LDA是一种监督学习的降维技术,也就是说它的每个样本是有类别输出的,而之前所学习的PCA算法是不考虑样本类别输出的无监督降维技术。LDA算法的目标是使降维后的数据类内方差最小,类间方差最大(即使数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同
不同点: 1)LDA是有监督的降维方法,而PCA是无监督的降维方法 2)LDA降维最多降到类别数k-1的维数,而PCA没有这个限制。 3)LDA除了可以用于降维,还可以用于分类。 4)LDA选择分类性能最好的投影方向,而PCA选择样本点投影具有最大方差的方向。 LDA和PCA所用库: importnumpyasnpimportmatplotlib.pyplotaspltfrommpl_...
与PCA不同,LDA是一种有监督的降维技术。LDA的目标是找到一个投影,使得数据在新的低维空间中,能够最大程度地区分不同的类别。LDA通过最大化类间方差与类内方差之比来实现这个目标。简单来说,LDA试图将同类样本聚集在一起,而将不同类样本分开。这使得LDA非常适合于分类任务,因为它的降维过程已经融入了类别信息,从...
PCA希望投影后的数据方差尽可能的大,因为方差越大,则包含的信息越多;而LDA则希望投影后相同类别的组内方差小,组间方差大。LDA能合理的运用标签信息,使得投影后的维度具有判别性,不同类别的数据尽可能的分开 有标签就尽可能的利用标签数据(LDA),而对于纯粹的非监督任务,还是使用PCA降维 ...
LDA和PCA区别 https://blog.csdn.net/brucewong0516/article/details/78684005
所以PCA是一种unsupervised learning。LDA通常来说是作为一个独立的算法存在，给定了训练数据后，将会得到一系列的判别函数（discriminate function），之后对于新的输入，就可以进行预测了。而PCA更像是一个预处理的方法，它可以将原本的数据降低维度，而使得降低了维度的数据之间的方差最大。
PCA和LDA的主要区别在于:A.PCA着重于保留数据的方差信息,而LDA着重于保留数据的类别信息B.PCA只能应用于分类数据,而LDA可以应用于数值型数据C.PCA采用监督学习方式,而LDA采用无监督学习方式D.PCA通过正交变换获取新的特征向量,而LDA采用线性变换获取新的特征向量的答案
P127 LDA和逻辑回归的 logP(G=k|X=x)P(G=K|X=x) 形式都是 X 的线性函数,区别在于系数估计的方式不同。LDA是生成模型,逻辑回归是判别模型。用的是不同的极大似然 P128 LDA显示建模边缘分布 P(X) ,可以得到更多参数信息,所以方差更低。如果真实数据 fk(x) 就是高斯分布,则在只是用条件概率进行估...
LDA是有标注的,PCA是无标注的,只考虑协方差的。 之前有篇文章,也将了一些降维: 其实PCA,LDA和TSNE都是降维的方法,manifold。 这篇文章主要讲的是流形学习。流形学习方法(Manifold Learning),简称流形学习。 图中基本上包括了大多数流形学习方法,不过这里面没有t-SNE,相比于其他算法,t-SNE算是比较新的一种方法...