这里神经网络可以是一个mean-pooling，也是对邻居进行平均，这时候 v1，v2，v3的权重都是1/3。那这里...
alpha GO:没有用pooling,因为pooling此处信息损失很大! Q:感受野的影响,已经对于特征图上上的一个点,其感受野范围内不同位置上的pix特征作用是什么? CNN 平移不变形,但是缩放和旋转是变化的;所以数据增强里可以加缩放和旋转(旋转提供的空间其实是很大) CNN 归纳偏置是什么(?) paper ref: on the relationship ...
即：注意力权重，相当于在空间维度上做注意力的计算。
原文的理论部分很复杂,但是code很简单,实现的方法其实本质上就是做pooling也非常简单,这里就直接看code好了。 from 这个code实现的不错,作者也贴心的自己亲手了做了实验。怎么效果掉这么多。。。(linformer:你就说快不快吧!) 去掉了一些和linformer本身原理理解无关的东西(比如mask的处理,以及实验中不同设计的模块...
i保存起来，在最后要生成新的输出的时候，我们让模型回头看一下之前的这每一个h_i，再决定要生成什么...
Squeeze-and-Excitation Networks（简称 SENet）是 Momenta 胡杰团队（WMW）提出的新的网络结构，利用SENet...