逻辑斯蒂回归推导 在上篇文章中,我们推导并手写实现了线性回归算法,今天我们来聊聊线性回归的衍生——逻辑斯蒂回归(Logistic Regression),这是个英译词,和逻辑没半毛钱关系,本质上其实是“对数几率回归”,在后面的内容中我们会具体解释到。 我们知道线性回归是一种解决标签为连续值的回归算法,那在实际生活中,如果碰上...
1、Python手写实现SOM网络。 2、利用自己手写的类对一个二维数据集进行聚类分析。 3、利用自己手写的类和第三方库minisom,分别对鸢尾花的数据进行映射,并查看映射后的拓扑关系。 首先是手写SOM网络部分。 我们先来构造一个SOM类。 importnumpyasnpimportos#os.chdir(r"D:\mywork\test")classSOMnetwork(object):"...
通常来说分为两步:第一步,选取神经元的中心;第二步,利用BP算法优化网络的参数。选取神经元中心的方法很多,比如随机选取、聚类选取等等,同时我们也可以有监督地学习选取RBF的中心,这也是RBF网络的最一般形式。 最后,我们基于一般形式推导整个RBF网络的训练过程。 高斯核函数定义如下: RBF网络定义如下: 我们定义误差函...
y=load_iris(True)#1、用自编的LDA算法lda_self=LinearDiscrtAnays()lda_self.train(X,y)#2、直接sklearn实现LDAfromsklearn.discriminant_analysisimportLinearDiscriminantAnalysisasLDAlda_sklearn=LDA(solver="eigen",n_components=2)lda_sklearn.fit(X,y)...
在上图的网络中,有1层输入层、1层输出层、2层隐藏层,我们就先从该网络的结构推导起,然后再推广到一般情况。我们先做一些定义: 令网络输出层的误差函数为E,令网络的输出值为\hat Y - Y,可得: 首先对第二层隐藏层到输出层的连接权值求导可得权值的优化方向: ...
我们都知道感知机是神经网络的入门算法,我们今天就来推导和实现下。 感知机 我们知道感知机是一个二分类的线性分类模型,其输入为样本的特征向量,输出为样本的类别,值为+1或者-1。其数学形式表示为以下函数: 感知机 其中sign函数也是感知机输出层的激活函数。
在学习机器学习算法的时候,很多同学浅尝辄止,粗略看上一遍理论后便直接上手,调package完成任务。在实际工作中,调package的确能大大提高我们机器学习算法和模型的实现效率,但在学习过程中若也是如此,便很难领会机器学习的魅力了。 相信很多同学和笔者一样,并不满足于package的调用,更想了解机器学习算法的原理和细节,那跟...
Python实现朴素贝叶斯 我们通过Python实现下朴素贝叶斯算法。 我们先导入相关的包,并建立朴素贝叶斯的类。 importosimportnumpyasnp###一、朴素贝叶斯分类器classNBayes(object):#设置属性def__init__(self):self.trainSet=0#训练集数据self.trainLabel=0#训练集标记self.yProba={}#先验概率容器self.xyProba={}#...