在这篇论文中,来自北大的研究者提出了一种全局滤波器剪枝的算法,名为“门装饰器(gate decorator)”。这一算法可以通过将输出和通道方向的尺度因子(门)相乘,进而改变标准的 CNN 模块。当这种尺度因子被设0的时候,就如同移除了对应的滤波器。 研究人员使用了泰勒展开,用于估计因设定了尺度因子为 0 时对损失函数造成的影响,...
AI经典论文 13 - 解码LSTM:Hochreiter与Schmidhuber的经典之作 | LSTM(长短期记忆网络)由Sepp Hochreiter 和 Jürgen Schmidhuber 在1997年提出,解决了RNN的梯度消失问题。LSTM通过引入记忆单元和门控机制,能够选择性地记住或忘记信息,从而捕捉长序列中的依赖关系。其核心包括记忆单元、遗忘门、输入门和输出门,确保信息...