Informer[1]基于自注意力机制中存在的查询稀疏性（attention的长尾分布），选择top-u进行query-key对的部分计算，提出了ProbSparse Self-Attention替代标准的Self-Attention，将自注意力机制的内存和计算开销从 减少到 。Nyströmformer[2]将Nyström方法应用于自注意力机制的近似，利用landmark（作者称之为Nyström）...
Informer[1]基于自注意力机制中存在的查询稀疏性(attention的长尾分布),选择top-u进行query-key对的部分计算,提出了ProbSparse Self-Attention替代标准的Self-Attention,将自注意力机制的内存和计算开销从减少到。 Nyströmformer[2]将Nyström方法应用于自注意力机制的近似,利用landmark(作者称之为Nyström) point来...
Informer[1]基于自注意力机制中存在的查询稀疏性(attention的长尾分布),选择top-u进行query-key对的部分计算,提出了ProbSparse Self-Attention替代标准的Self-Attention,将自注意力机制的内存和计算开销从减少到。 Nyströmformer[2]将Nyström方法应用于自注意力机制的近似,利用landmark(作者称之为Nyström) point来...
Informer[1]的研究表明Transformer在时间序列(长序列预测)中拥有更加出色的建模能力。CNMT[10]利用OCR系统和多模态Transformer进行TextCaps任务。 而针对图像字幕生成任务,GET[11]设计了一种全局增强的Transformer来提取更全面的表示,其包括一个全局增强编码器来捕捉全局特征和一个全局自适应解码器来指导字幕的生成,从而得...
转载于:AAAI 2021最佳论文《Informer》作者:Transformer 最新进展 ## 参考文献 [1] Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting [2] Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention