跟下面将谈到的PCA的作用非常相关。 特征值的求法有很多,求一个D * D的矩阵的时间复杂度是O(D^3), 也有一些求Top M的方法,比如说power method,它的时间复杂度是O(D^2 * M), 总体来说,求特征值是一个很费时间的操作,如果是单机环境下,是很局限的。 PCA: 主成分分析(PCA)与LDA有着非常近似的意思,...
Machine Learning 2 . Logistic Regression and LDASchmidtthieme, Lars
for code,name in stocks.items(): dd = yf.Ticker(code) data[name]=dd.history(start=start_date,end=end_date)['Close'] data=data.iloc[2:,:].fillna(method='ffill') return data StockIndexs = { '000001.SS':'上证综指', '^DJI':'道琼斯', '^IXIC':'纳斯达克', '^N225':'日经225'...
当协方差矩阵各向同性时,w与类中心向量平行(同LDA)。 注:PCA也可通过特征值分解进行降维,把数据投影到特征值(方差)最大的方向,但降维后数据不一定可分。
4) learning_method:即LDA的求解算法。有‘batch’ 和‘online’两种选择。 ‘batch’即我们在原理篇讲的变分推断EM算法,而"online"即在线变分推断EM算法,在"batch"的基础上引入了分步训练,将训练样本分批,逐步一批批的用样本更新主题词分布的算法。默认是"online"。选择了‘online’则我们可以在训练时使用partial_...
LDA是基于贝叶斯模型的,涉及到贝叶斯模型离不开“先验分布”,“数据(似然)”和"后验分布"三块。在朴素贝叶斯算法原理小结中我们也已经讲到了这套贝叶斯理论。在贝叶斯学派这里: 先验分布 + 数据(似然)= 后验分布 这点其实很好理解,因为这符合我们人的思维方式,比如你对好人和坏人的认知,先验分布为:100个好人和10...
data=data.iloc[2:,:].fillna(method='ffill') return data StockIndexs = { '000001.SS':'上证综指', '^DJI':'道琼斯', '^IXIC':'纳斯达克', '^N225':'日经225', '^HSI' :'香港恒生', '^FCHI':'法国CAC40', '^GDAXI':'德国DAX'} ...
Machine Learning Lab 线性判别分析(Linear Discriminant Analysis,LDA)是一种经典的线性分类方法。注意机器学习中还有一种用于NLP主题模型建模的潜在狄利克雷分布(Latent Dirichlet Allocation)也简称为LDA,大家在学习的时候注意区分。不同于上一讲谈到的PCA降维使用最大化方差的思想,LDA的基本思想是将数据投影到低维空间...
)data.dropna() # 直接删除记录data.fillna(method='ffill') # 前向填充data.fillna(method='...
从这种意义上来看,这两者互为 dual。搞统计的一般会讨论一些比较 intuitive 的优化策略,除了常见的 numeric solver(如基于 gradient 和 Newton’s method)以外,求解 MaxEnt 还有一种 GIS/IIS 的策略。 需要指出的是 Fisher discriminative criterion(FDC)在分类中的作用(试与 PCA 相比较),这类线性投影在条件分布为...