模型学习就是在给定的训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。 算法:似然函数是光滑的凸函数,因此多种最优化方法都适用。 改进的迭代尺度法 ( IIS ):假设当前的参数向量是 w,如果能找到一种方法 w->w+δ 使对数似然函数值变大,就可以重复...
统计学习方法李航《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第1章 统计学习方法概论 我算是有点基础的(有过深度学习和机器学的项目经验),但也是半路出家,无论是学Python还是深度学习,都是从…
算法是指学习模型参数的具体计算方法,统计学习基于训练数据集,根据学习策略,从假设空间中选择最优模型,最后需要考虑用什么样方法取计算求解最优模型或者最优参数空间。 统计学问题最终归结为最优化问题,统计学系的算法称为求解最优化问题的算法: 如果优化问题为显式解析解 如果优化问题的解析解不存在: 数值计算方法 对...
1.3. 统计学习方法三要素 1.3.1. 模型 1.3.2. 策略 1.3.3. 算法 1.4. 模型评估与模型选择 1.4.1. 训练误差与测试误差 1.4.2. 过拟合和模型选择 1.5. 正则化与交叉验证 1.5.1. 正则化 1.5.2. 交叉验证 1.6. 泛化能力 1.6.1. 泛化误差
李航统计学习方法(第十章) 第10章 隐马尔可夫模型有两个要点:一是两个基本假设的理解,二是贝叶斯公式(乘法公式)处理复杂条件概率问题的能力。一、基本概念隐马尔可夫模型(简称:隐马模型,或者HMM)是一个概率图模型,其输出结果为一个概率值,并根据此概率值进行预测、判断等决策行为。 隐马模型一般表示为 ,常用于解...
【李航】统计学习方法--1. 统计学习及监督学习概论(详细推导),机器学习有下面几种定义:“机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习
因为要准备面试,本文以李航的《统计学习方法》为主,结合西瓜书等其他资料对机器学习知识做一个整理. 知识点 进程和线程:进程和线程都是一个时间段的描述,是CPU工作时间段的描述,不过是颗粒大小不同.进程就是包换上下文切换的程序执行时间总和 = CPU加载上下文+CPU执行+CPU保存上下文.线程是共享了进程的上下文环境的更...
一、有监督学习 1.概念: 目的在于从训练集中学习一个输入到输出的映射模型,再利用模型对未知数据进行预测。 由于训练集是人工给出的,所以叫有监督学习。 2.假设空间 假设空间指的是 输入到输出的所有映射模型的集合。机器学习的目的在于在假设空间中选取最优的模型。 3.