吴恩达《深度学习专项》代码实战(六):用 Numpy 实现 Momentum, Adam 等优化算法 周弈帆:吴恩达《深度学习专项》笔记(六):改进梯度下降算法(mini-batch, Momentum, Adam)这周,官方的编程作业还是点集分类。我觉得这个任务太简单了,还是挑战小猫分类比较有意思。… ...
平稳段会减缓学习,平稳段是一块区域,其中导数长时间接近于0,如果你在此处,梯度会从曲面从从上向下下降,因为梯度等于或接近0,曲面很平坦,你得花上很长时间慢慢抵达平稳段的这个点,因为左边或右边的随机扰动 image-20240826231222759 此时可以使用前面几节提到的优化算法 71. 调试处理 α 学习速率是需要调试的最重要的...
8、BatchNorm也有着正则化的作用,因为每Batch中的数据都是不一样的,因此学习到的联系方差和均值的参数都含有一定的噪声,而噪声可以提高模型的泛化性能 9、在计算测试集的均值和方差时,常采用的方法时指数加权平均 10、选择深度学习框架的标准:利于编程(实现,部署等)、高效、开源 机器学习策略 1、机器学习参数的调整...
吴恩达深度学习 notebook 吴恩达deeplearning 笔记 二、改善深层神经网络 第一周 深度学习的实用层面 知识点总结 1. 训练集与测试集分布不匹配问题 训练集(train) 验证集(dev) 测试集(test):test和dev分布相同 2. 偏差(Bias)与方差(Variance) (1)高偏差与高方差 (2)降低偏差/方差的方法 现在可以在降低偏差/...
本章主要回顾吴恩达老师机器学习快速入门视频,以便夯实基础,适合零基础小白~ 1. 监督学习和无监督学习 监督学习(Supervised Learning):对于数据集中每一个样本都有对应的标签,包括回归(regression)和分类(classification); 无监督学习(Unsupervised Learning):数据集中没有任何的标签,包括聚类(clustering) ...
神经网络-深度学习 - 吴恩达 - 第一课 一、基础介绍 1.1 神经网络-监督学习 神经网络建立模型(监督学习) 1.2 监督学习分类: 1.标准神经网络(NN)- 一般模型 2.卷积神经网络(CNN)- 图像 3.循环神经网络 (RNN) - 音频 4. 混合神经网络 - 复杂系统 ...
本系列是编者学习吴恩达deeplearning.ai 深度学习系列课程的笔记。 编者有一定机器学习基础,也看过Andrew的机器学习课程。由于Andrew的课程非常通俗易懂,笔记中会省略那些帮助理解的例子、图形等,只把最终的观点、解释、结论和解决方案做整理,以供日后查看,另外编者也在某些地方,结合原版论文做出了一些批注和补充,所以称...
一、深度学习概念 深度学习指的是训练神经网络,有时候规模很大。 linear regression 线性回归 回归函数,例如在最简单的房价预测中,我们有几套房屋的面积以及最后的价格,根据这些数据来预测另外的面积的房屋的价格,根据回归预测,在以房屋面积为输入x,输出为价格的坐标轴上,做一条直线最符合这几个点的函数,将它作为根据...
在《神经网络与深度学习》课程笔记(2)中我们介绍过,整个训练样本构成的输入矩阵X的维度是(nx,m),权重矩阵w的维度是(nx,1),b是一个常数值,而整个训练样本构成的输出矩阵Y的维度为(1,m)。利用向量化的思想,所有m个样本的线性输出Z可以用矩阵表示:
本系列是编者学习吴恩达deeplearning.ai 深度学习系列课程的笔记。 编者有一定机器学习基础,也看过Andrew的机器学习课程。由于Andrew的课程非常通俗易懂,笔记中会省略那些帮助理解的例子、图形等,只把最终的观点、解释、结论和解决方案做整理,以供日后查看,另外编者也在某些地方,结合原版论文做出了一些批注和补充,所以称...