首先回顾一下,在深度学习中,往往将训练数据集随机划分为N个batch,每完成一个batch的计算,便更新一次参数θθ,一轮(epoch)完成对所有N个batch的计算。在每一个epoch完成之后,对训练数据集进行shuffle,然后进行下一epoch的训练。 那到底选用多大的Batch size可以获得理想的训练效果呢?李宏毅老师从以下几个方面做了对比...
机器学习粗浅理解:寻找一个ff,通过输入训练数据xx,来训练ff中的未知参数,使得L(θ)L(θ)最小,来完成我们的工作。 对于机器学习任务的分类有如下几个: Classification(分类任务)
【学习笔记】李宏毅2021春机器学习课程第2.1节:local minima与saddle point Critical Point Distinguish local minima and saddle point Now escape from saddle point! 《三体3:死神永生》中高维碎片带来的启发 Critical Point 我们常常在做Optimization的时候发现,随... ...
生成对抗网络的流程图如下图所示: 以李宏毅老师所举的生成二次元头像的例子来看生成对抗网络的训练过程: Step 1:固定生成网络,训练判别网络 在完成生成网络和判别网络参数的初始化之后,固定住生成网络,我们将从分布\(p(z)\)中采样出来的向量输入到生成网络中,得到对应的输出(图片)。 我们拿得到的输出结果与真正的...
【学习笔记】李宏毅2021春机器学习课程第2.1节:局部最小值(local minima)与鞍点(saddle point),程序员大本营,技术文章内容聚合第一站。
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! CNN理解角度一 图像的表达形式 对于一个Machine来说,一张输入的图像其实是一个三维的Tensor。 如上图所示,三个维度分别表示图像的宽、高和Channel的数目。彩色图像的每一个pix...
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 如何更好的训练我们的模型呢?我们可以通过观察训练集上的loss,来决定下一步采取什么措施来优化我们的训练过程。 训练集上的
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 概率生成模型 概率生成模型(Probabilistic Generative Model)简称生成模型,指一系列用于随机生成可观测数据的模型。 假设
Transformer模型是一个基于多头自注意力的序列到序列模型(seq2seq model),整个网络结构可以分为编码器(Encoder)和解码器(Decoder)两部分。 这个seq2seq模型输出序列的长度是不确定的。我们输入一个sequence后,先由Encoder负责处理,再把处理好的结果输入到Decoder中,由Decoder决定最后输出什么样的sequence。Transformer的完...
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 全连接网络的输入是一个向量,但是当输入是一个变长的向量序列时,就不能再使用全连接网络了。这种情况通常可以使用卷积网络或循环网络进行编码来得到一个相同长度的输出向量序列...