一般认为,迄今为止深度学习已经经历了 3 次发展浪潮:20 世纪 40 年代到 60 年代,深度学习的雏形出现在控制论cybernetics中;20 世纪 80 年代到 90 年代,深度学习表现为联结主义connectionism;直到 2006 年,才真正以深度学习之名复兴。图 1.7 给出了定量的展示。 我们今天知道的一些最早的学习算法,旨在模拟生物学习...
支持向量机以统计学为基础,和神经网络有明显的差异,支持向量机等算法的提出再次阻碍了深度学习的发展。 发展期 2006年 - 2012年 2006年,加拿大多伦多大学教授、机器学习领域泰斗、神经网络之父—— Geoffrey Hinton 和他的学生 Ruslan Salakhutdinov 在顶尖学术刊物《科学》上发表了一篇文章,该文章提出了深层网络训练中...
2.21 Deep residual networks (DRN) 深度残差网络,是非常深的FFNN,它可以把信息从某一层传至后面几层(通常2-5层)。对应的paper。 2.22 Echo state networks (ESN) 回声状态网络,是另一种不同类型的(循环)网络。对应的paper。 2.23 Extreme learning machines (ELM) 极限学习机,本质上是随机连接的FFNN。对应的...
DQN(Deep Q-Network)(2013.12),由DeepMind(2014.1被Google收购)团队在论文Playing Atari with Deep Reinforcement Learning中提出的深度强化学习模型,该模型是一个卷积神经网络,使用 Q-learning 的变体进行训练,其输入是原始像素,其输出是估计未来奖励的值函数。我们将我们的方法应用于 Arcade 学习环境中的 7 款 Atari...
深度学习（Deep Learning，DL）是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络（Artificial Neural Network，ANN）的研究，含多个隐藏层（Hidden Layer）的多层感知器（Multi-Layer Perceptron，MLP）就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别...
LSTM 架构。图片取自 MIT 的课程《6.S191 Introduction to Deep Learning》 LSTM 处理长序列的能力使其成为适合各种序列任务的神经网络架构,例如文本分类、情感分析、语音识别、图像标题生成和机器翻译。 LSTM 是一种强大的架构,但它的计算成本很高。2014 年推出的 GRU(Gated Recurrent ...
LSTM 架构。图片取自 MIT 的课程《6.S191 Introduction to Deep Learning》LSTM 处理长序列的能力使其...
本文首先从4个方面(张量、生成模型、序列学习、深度强化学习)追踪深度学习几十年的发展史,然后再介绍主流的26个深度学习模型。 1.深度学习发展史 深度学习的发展史主要是我几个月前看的唐杰老师的学生整理的一个博文,现在找不到博文了。凭借记录加上我的理解,简单写一写吧。如果还有人知道这个博文,欢迎告知,我把...
纵观科学发展史,无疑都是充满曲折的,深度学习也毫不例外。 1969年,美国数学家及人工智能先驱Marvin Minsky在其著作中证明了感知器本质上是一种线性模型(linear model),只能处理线性分类问题,就连最简单的XOR(亦或)问题都无法正确分类。这等于直接宣判了感知器的死刑,神经网络的研究也陷入了将近20年的停滞。