【机器学习2021-李宏毅】学习笔记(一) 基本概念 结构化学习 机器学习中的任务不只包括Regression和Classification两大类,还有Structure Learning,也就是函数的输出并不是一个标量或者一个类别,而是生成有结构的输出(比如图像、文本等)。 误差曲面 通过试不同的参数,然后计算对应情况下的loss,画出来的等高线图称为Error ...
B站视频:(强推)李宏毅2021春机器学习课程 GitHub笔记:DeepLearning_LHY21_Notes 1.机器学习基本概念(P2) 1.1.机器学习分类 回归任务(regression) 分类任务(classfication) 结构化学习(structured learning) 1.2.实际问题机器学习过程 解决预测视频点击量预测 1.训练:training data 1)定义模型:线性函数(linear model) 2...
首先回顾一下,在深度学习中,往往将训练数据集随机划分为N个batch,每完成一个batch的计算,便更新一次参数θθ,一轮(epoch)完成对所有N个batch的计算。在每一个epoch完成之后,对训练数据集进行shuffle,然后进行下一epoch的训练。 那到底选用多大的Batch size可以获得理想的训练效果呢?李宏毅老师从以下几个方面做了对比...
李宏毅机器学习2021机器学习基本概念介绍笔记 假设机器学习就是求解一个未知函数,简单认为这个函数是一个一元函数 y=x1 Loss define y是真实值,y¯是预测值,Loss:L=1n∑n1en loss函数有多种,常见的Loss函数有MAE,MSE Optimization 优化函数确定学习的方向,及下一步的走向。梯度下降是最常见的优化函数。 Learning ...
【机器学习2021-李宏毅】机器学习任务攻略笔记 Testing data Train model步骤: 写出有未知数的function: 用Theta(θ)代表function中所有的未知数 input为feature define loss(function) from traning data loss is a function: 输入为一组参数,loss function的作用为判断这一组参数好还是不好。
李宏毅2021春机器学习课程笔记——生成对抗模型模型 本文作为自己学习李宏毅老师2021春机器学习课程所做笔记,记录自己身为入门阶段小白的学习理解,如果错漏、建议,还请各位博友不吝指教,感谢!! 概率生成模型 概率生成模型(Probabilistic Generative Model)简称生成模型,指一系列用于随机生成可观测数据的模型。
1.每个向量都有一个label 2.全部向量(whole sequence)输出一个label 3.不知道输出是多少向量,机器自己决定,如seq2seq === 今天只讲第一种类型:每个向量都有一个label(输入 = 输出,又叫Sequence Labeling) 考虑上下文信息! (作业2用助教的代码就可以过strong...
希望机器输出的时候小人同时有向左向右转的可能,具体向左还是向右根据输入的z决定。 why generator2 也就是当输出有一些随机性,需要解决一些创造力的任务的时候,就希望有一个generator。 举例:Drawing、Chatbot GAN 各式各样的GAN 各式各样GAN 举个例子
v1到v4拼起来得到v矩阵,再乘以A‘就得到b的矩阵输出。 self矩阵3 Self-attention矩阵运算总结 self矩阵4 只有Wq,Wk,Wv需要学习。 Self-attention的进阶版本——Multi-head Self-attention 计算多种相关,Different types of relevance。 multihead1 multihead2 ...
1. Loss不再变化有三种可能:(Q1)梯度小-鞍点(Q2)梯度小-极小值点(Q3)学习率问题-在critical point附近震荡 2. 针对问题(Q3)构建了实验 实验:探索 “对所有参数 LR 一致的 Gradient Descent 方法” 能否使 loss 到达 error 平面上指定的 target point ...