李宏毅（（Hung-yi Lee）目前任台湾大学电机工程学系和电机资讯学院的助理教授，他曾于2012年获得台湾大...
v=ugWDIIOHtPA&ab_channel=Hung-yiLee 1. Seq2Seq采用RNN不能并行化,使用CNN代替RNN 例如CNN三角形选取旁边3个ai, 每个三角形(RNN)不需要等其他三角形计算完再计算,因此可以并行化 2. 记住有一种新的layer,叫做Self-Attention Layer,可以代替RNN 输入输出也与RNN一样,都是Sequence biRNN虽然也可以获得全部输入...
这里的Zero-shot、One-shot、Few-shot都是完全不需要精调的,因为GPT-3是单向transformer,在预测新的token时会对之前的examples进行编码。 GTP-3能干啥 造句: 数学: 生成图像: 就是按顺序生成pixel,其实与文字一样,这样的方法叫raster order。 Few-shot learning是将描述的文字+图像(raster order)送入GPT-3中。
生成式AI导论---Hung-yi Lee李宏毅(2) 第2讲---今日的人工智慧厉害在哪里?工具到工具人 同为生成式AI,GPT(属于语言模型,是生成式AI的一类)比谷歌翻译厉害在哪? 答:从“功能单一”到“没有特定功能”,类似工具人。 如何评估如今的模型? 答:答案解法不一;每个人用AI看的事情不同,无法具体评估。 对模型犯...
Transformer-李宏毅 (Hung-yi Lee) 笔记 self-attention可以认为是可以并行的RNN,可以替代RNN。 self-attention layer 生成q、k、v的方式,q是用来match其他的k,k是被match的,v是信息。 得到最终的输出 self-attention layer中的运算都是矩阵运算,这样方便GPU加速。
作者介绍:李宏毅(Hung-yi Lee)目前任台湾大学电机工程学系和电机资讯学院的助理教授,他曾于 2012 年获得台湾大学博士学位,并于 2013 年赴麻省理工学院(MIT)计算机科学和人工智能实验室(CSAIL)做访问学者。研究方向主要是机器学习(深度学习)和语音识别。
而深度学习、机器学习都是技术,是手段,和目标不同概念。使用技术能达到的目标不止生成式AI一种,也可以达到类似分类的目标。而达到目标的途径也不只有GLML,但是目前绝大多数的生成式AI都是靠DL达成的,因此勉强可以放置在子集中理解。 机器的创造力---产生在训练时期从来没见过的东西 ※...
NTU_HYLee_MachineLearning_Homework:作业分享:台大李宏毅(Hung-Yi Lee) 教授的Machine Learning (2016, Fall) NTU HY Lee机器学习作业 准备 虚拟环境和依赖项 方法1:virtualenv 创建虚拟环境 $ virtualenv ./ENV 进入虚拟环境 $ source ./ENV/bin/activate 如果要退出虚拟环境, $ deactivate 在虚拟环境下安装依赖...
注:为什么叫'一天搞懂深度学习',起因是这份资料是李教授的讲座资料,当时是一天就完成了教学,所以得此名,也名声大噪。 资料大纲 深度学习介绍 训练深度神经网络的技巧 不同的神经网络 未来发展 作者简介 李宏毅(Hung-yi Lee) 台湾大学教授。很多人应该都知道李教授,这里就不再介绍。 内容节选...
【导读】《深度学习的高级技巧》原名为:《Advanced Tips for Deep Learning》。 资料大纲 批量归一化 新的激活功能 调超参数 关于深度学习的有趣事实 胶囊网络 新模型的问与答 作者简介 李宏毅(Hung-yi Lee) 台湾大学教授。很多人应该都知道李教授,这里就不再介绍。