此外,Transformers 必须采用稀疏版本的 point-wise self-attentions 来提高长序列效率,从而导致信息利用瓶颈。除了 Transformers,我们将 Auto-former 设计为一种具有自相关机制的新型分解架构。我们打破了序列分解的预处理惯例,并将其更新为深度模型的基本内部块。这种设计为Autoformer 赋予了复杂时间序列的渐进分解能力。此...