【机器学习2021-李宏毅】学习笔记(一) 基本概念 结构化学习 机器学习中的任务不只包括Regression和Classification两大类,还有Structure Learning,也就是函数的输出并不是一个标量或者一个类别,而是生成有结构的输出(比如图像、文本等)。 误差曲面 通过试不同的参数,然后计算对应情况下的loss,画出来的等高线图称为Error ...
李宏毅机器学习2021机器学习基本概念介绍笔记 假设机器学习就是求解一个未知函数,简单认为这个函数是一个一元函数 y=b+x1 Loss define y是真实值,y¯是预测值,Loss:L=1n∑n1en loss函数有多种,常见的Loss函数有MAE,MSE Optimization 优化函数确定学习的方向,及下一步的走向。梯度下降是最常见的优化函数。 Learni...
缺乏应变能力,只契合训练资料,因此在测试资料上会跳痛。 当学习器把训练样本学得"太好"了的时候, 很可能巳经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质, 这样就会导致泛化性能下降这种现象在机器学习中称为“过拟合”(overfitting). 解决 增加训练资料 寻找新的资料 Data augmentation→对现有资料...
前言 本文记录了关于机器学习的基本介绍,机器学习的一个基本的框架以及机器学习的相关技术,并且本文是基于台湾李宏毅机器学习课程的基础上所做的笔记。 一、机器学习介绍 机器学习是什么 机器学习的本质其实就是在寻找一个Function,这个Function可以满足我们的期望:输入一个特定的值,输出我们所需要的,比如在自然语言方面输...
引入Sigmoid Function 我们用sigmoid函数来模拟蓝色的function 参数变化对sigmoid函数的影响 回到原问题 产生新的model 改进模型,增加新的x 由x1的model 引申到多个x输入的model 定义新的参数集theta: 改写了机器学习第一步 通过梯度下降更新参数集(实际应用中先划分Batch) ...
首先回顾一下,在深度学习中,往往将训练数据集随机划分为N个batch,每完成一个batch的计算,便更新一次参数θθ,一轮(epoch)完成对所有N个batch的计算。在每一个epoch完成之后,对训练数据集进行shuffle,然后进行下一epoch的训练。 那到底选用多大的Batch size可以获得理想的训练效果呢?李宏毅老师从以下几个方面做了对比...
学习笔记:CNN(李宏毅机器学习2021) 1.评价指标:交叉熵(Cross entropy) 2.CNN本质:读取局部特征 3.Receptive field 与 Stride Receptive filed:CNN中选取局部特征的区域大小(实际上就算取的很小也能把特征提取到,因为卷积层不止一层,第二层及之后会扩大提取范围),一般会取3*3(也可以改变形状),在超出矩阵范围(ov...
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料,在YouTube、网易云课堂、B站都能观看到相应的课程视频,接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳!) ...
有了上面的sigmoid函数,就可以确定有未知参数的函数作为机器学习的model了,这次就不是线性model了。(从图像上面看,这实际上就是单层神经网络了吧) 这样得到的y,就是一个非线性的函数,神经元节点越多,能拟合的函数就越复杂吧。 把整个函数用矩阵和向量的形式表示:然后可以把全部的未知参数都列到一起,作为一个列...
李宏毅2021机器学习深度学习笔记PPT作业. Contribute to ice-xz/machineLearningDeepLearning development by creating an account on GitHub.