我做完了李沐老师这套课程的笔记,笔记里有数据集、课件、代码、及运行结果,还添加了目录、补充知识点、代码注释、纠正了代码报错情况,不用谢。 Github在国内打开有点慢,有时会出现打不开,电脑浏览器换个网速好点的WIFI,刷新几次就好了。 00 预告 01 课程安排 02 深度学习介绍 03 配置版本 04 数据操作、数据...
去年年初，机器之心知识站上线了亚马逊资深首席科学家李沐博士的「动手学深度学习」中文系列课程。这门课从3月持续到8月，超过28000人参与了直播，课程回放在 B 站的播放量达到了上百万次。这门课程基于李沐等人编写的《动手学深度学习》第二版。《动手学深度学习》既有开源项目，也有纸质书，它覆盖了90年代至今重...
L2 正则化线性模型构成经典的岭回归(ridge regression)算法,L1 正则化线性回归被称为套索回归(lasso regression)。L2 范数对权重向量的⼤分量施加了巨⼤的惩罚,使学习算法偏向于在⼤量特征上均匀分布权重的模型,对单个变量中的观测误差更鲁棒。L1 惩罚会导致模型将其他权重清除为零而将权重集中在⼀小部分特征上...
对于平⽅损失和仿射变换,可以明确地写成如下形式: (3) |B| 表⽰每个小批量中的样本数(批量⼤小batch size),η表⽰学习率(learning rate)。批量⼤小和学习率的值是⼿动预先指定,而不是通过模型训练得到的。这些可以调整但不在训练过程中更新的参数称为超参数(hyperparameter)。调参(hyperparameter tunin...
2024爆赞!李沐《动手学深度学习》中文课程笔记来了!代码还有详细的中文注释!共计3条视频,包括:李沐《动手学深度学习》中文课程笔记来了!代码还有详细的中文注释!、爆肝了一周终于把2024年人工智能论文合集整理好啦!、求三连支持等,UP主更多精彩视频,请关注UP账号
由于权重衰减在神经网络优化中很常用, 深度学习框架为了便于我们使用权重衰减, 将权重衰减集成到优化算法中,以便与任何损失函数结合使用。 此外,这种集成还有计算上的好处, 允许在不增加任何额外的计算开销的情况下向算法中添加权重衰减。 由于更新的权重衰减部分仅依赖于每个参数的当前值, 因此优化器必须至少接触每个参数...
李沐的《动手学深度学习》课程中,使用PyTorch进行编程,可以总结如下: 1. 安装PyTorch:首先需要安装PyTorch库,可以通过pip命令进行安装。在终端中输入以下命令: ``` pip install torch torchvision ``` 2. 导入所需模块:在Python代码中,需要导入所需的模块,例如torch、torch.nn等。 3. 创建神经网络模型:可以使用...
【李沐老师观点】微调是深度学习,特别是计算机视觉来说,最重要的一种技术。整个深度学习为什么正常WORD?是因为微调的存在。所谓“微调”也称为“Transfer Learning”,即迁移学习,它是影响和改变了计算机视觉的一种重要方法。 李沐老师强调,即使前面所介绍过的一些知识被忘记,但是【微调】是不可被遗忘的,是深度学习最...
学习率 一、概念 学习率(Learning rate)作为监督学习以及深度学习中重要的超参数,其决定着目标函数是否能收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。它指导我们在梯度下降法中,如何使用损失函数的梯度调整网络权重的超参数。
19 卷积层【李沐动手学深度学习v2课程笔记】 目录 1. 从全连接到卷积 2. 卷积层 3. 图像卷积代码 3.1 互相关运算 3.2 实现二维卷积层 3.3 图像中目标的边缘检测 3.4 学习卷积核 4. 小结 1. 从全连接到卷积 在欧几里得几何中,平移是一种几何变换,表示把一幅图像或一个空间中的每一个点在相同方向移动相同...