为了提高处理 LSTF 问题时的预测能力,论文提出的Informer实现了良好的效率改进。 文章的主要贡献总结为以下: (1)提出的 Informer 在 LSTF 问题中成功提高了预测能力,验证了类 Transformer 模型在捕获长序列时序输出和输入之间的个体长期依赖性方面具有潜在价值;【证明了 Transformer 模型在捕获长期依赖关系方面的作用】 ...
结论:Informer significantly outperforms existing methods and provides a new solution to the LSTF problem. 符号说明 输入: Xt={x1t,...,xLxt|xit∈Rdx} 预测输出,LSTF问题通常鼓励预测输出长于输入: ,Yt={y1t,...,yLyt|yit∈Rdy},dy≥1 编码器获得的特征表示: Ht={h1t,...,hLht} 方法 ...
Informer[1]除了提出在时序问题下使用自注意力蒸馏机制，每层Encdoer都将输入序列的长度减小一半，从而大大减小了Encoder内存开销和计算时间；同时提出在Decoder结构中使用生成式结构，能够一次生成全部预测序列，极大减小了预测解码耗时。CP Transformer[4]通过类比在动态图上形成hyperedge的方式，整合token的embedding来实现...
我们提出Informer来成功地提高LSTF问题的预测能力,这验证了类Transformer模型的潜在价值,以捕捉长序列时间序列输出和输入之间的单个的长期依赖性; 我们提出了ProbSparse self-attention机制来高效的替换常规的self-attention并且获得了 的时间复杂度以及 的内存使用率; 我们提出了self-attention distilling操作全县,它大幅降低...
《Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting》的论文复现 - 飞桨AI Studio
代码仓库:https:///zhouhaoyi/Informer2020 简介:据网上说是被评为AAAI 2021最佳论文,其作者设计了一种专为LSTF (长序列时间序列预测)设计的基于Transformer的改进模型 Informer,来解决Transformer在应用于LSTF时存在一些严重的问题。比如二次时间复杂度、较高的内存使用量和编解码器结构的固有限制等。
AAAI最佳论文Informer:效果远超Transformer的神器 简介 预处理 Preliminary 与样本生成 Step1:Embedding 待更新 2021/04/02 由于Informer主要是在Transformer上的改进,这里不再赘述Transformer的细节,可以参见另外的博文,可以推荐两个。 深入理解Transformer及其源码解读 最火的几个全网络预训练模型梳理整合... ...
Informer:最强最快的序列预测神器 AAAI21最佳论文Informer:效果远超Transformer的长序列预测神器! 作者:一元,公众号:炼丹笔记 01 简介 在很多实际应用问题中,我们需要对长序列时间序列进行预测,例如用电使用规划。长序列时间序列预测(LSTF)要求模型具有很高的预测能力,即能够有效地捕捉输出和输入之间精确的长程相关性耦合...
生成式解码器虽然概念简单,但在一次向前操作中预测长时间序列,而不是一步一步地预测,这大大提高了长序列预测的推理速度。在4个大规模数据集上的大量实验表明,Informer算法显著优于现有方法,为LSTF问题提供了一种新的解决方案3. 搭建模型(使用PaddlePaddle)3.1...
代码:https://github.com/zhouhaoyi/Informer2020 论文:https://arxiv.org/abs/2012.07436 在很多实际应用问题中,我们需要对长序列时间序列进行预测,例如用电使用规划。长序列时间序列预测(LSTF)要求模型具有很高的预测能力,即能够有效地捕捉输出和输入之间精确的长程相关性耦合。最近的研究表明,Transformer具有提高预测...