CNN优点:局部权值共享,平移不变性可以更好提取特征以及处理高维数据;缺点:网络过深时其梯度回传变化相对于输入往往很小,出现梯度消失或爆炸的情况;解释性一般 RNN优点:相比于CNN,RNN结合序列上的时序上下文来提取特征,但是在处理序列数据时没有进行信息的过滤,在稍长序列中就会出现梯度消失、爆炸的情况 LSTM优点:LSTM经过使用全连接层设计遗忘门
在很多问题,LSTM 都取得相当巨大的成功,并得到了广泛的使用。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为,而非需要付出很大代价才能获得的能力! 所有RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中,这个重复的模块只有一个非常简单的结构,例如一个 tanh 层。
(3)残差连接:防止梯度消失,输入可跳过隐藏层,直达下一层,反之方向传播时深层梯度更容易传回浅层 2.长短期记忆网络(Long Short-Term Memory Network,LSTM) 2.1 基本概念 定义: 是RNN的一个变体,能有效解决RNN的梯度爆炸/消失问题;在GRU基础上引入新的内部状态c,使用三种门控制记忆和遗忘 构成: c:内部状态,用于...
CNN优点:局部权值共享,平移不变性可以更好提取特征以及处理高维数据;缺点:网络过深时其梯度回传变化相对于输入往往很小,出现梯度消失或爆炸的情况;解释性一般 RNN优点:相比于CNN,RNN结合序列上的时序上下文来提取特征,但是在处理序列数据时没有进行信息的过滤,在稍长序列中就会出现梯度消失、爆炸的情况 LSTM优点:LSTM...
51CTO博客已为您找到关于CNN和LSTM的优缺点的相关内容,包含IT学习相关文档代码介绍、相关教程视频课程,以及CNN和LSTM的优缺点问答内容。更多CNN和LSTM的优缺点相关解答可以来51CTO博客参与分享和学习,帮助广大IT技术人实现成长和进步。