Informer是AAAI2021的最佳论文,主要是针对长时序预测任务(Long sequence time-series forecasting,LSTF),改进了Transformer。 一、历史瓶颈 图1展示了电力转换站的小时级温度预测,其中短期预测是0.5天(12个点),而长期预测是20天,480个点,其中当预测长度大于48个点时,整体表现会有明显的差异,LSTM的MSE和推理速度都在...
参数灵敏度:如下图(a)所示,预测短序列(如48),最初增加编码器/解码器的输入长度会降低性能,但进一步增加会导致MSE下降,因为它带来了重复的短期模式。然而,在预测长序列(如168)过程中,MSE会随着输入时间的延长而降低。因为较长的编码器输入可能包含更多的依赖性,而较长的解码器标记具有丰富的本地信息。
Informer 模型在多个数据集上的实验结果显示，在单变量长序列时序预测任务中，Informer 相较于其他模型具有显著优势。参数敏感度分析表明，Informer 对参数的调整较为稳健，能够适应不同规模的数据集。此外，论文还通过消融实验验证了 ProbSparse 自相关机制、自注意力蒸馏和生成式解码器等技术在提升模型性能方...
在实际应用中,Informer模型已经被广泛应用于各种长时间序列预测任务中。例如,在金融领域中,Informer模型被用于股票价格预测、市场趋势分析等;在气象领域中,该模型被用于天气预报、气候变化趋势分析等;在健康管理中,Informer模型被用于疾病发病率预测、患者健康状况分析等。这些应用表明,Informer模型具有广泛的实际应用价值。总...
总的来说,Informer模型是一种突破Transformer限制的长序列时序预测模型。它通过引入自回归语言模型训练方法和Transformer-XL的改进,实现了对长序列的高效处理。Informer模型在多个长序列时序预测任务上都取得了显著的提升,为相关领域的研究和应用提供了新的解决方案。 当然,Informer模型也存在一些局限性。例如,由于Informer模...
这篇文章来解读Informer,文章的出发点是利用Transformer来解决长序列时序预测问题【Long sequence time-series forecasting ,LSTF】,数据集为电力行业的变压器负荷、用电量等数据,获得2021年 AAAI Best Paper。恰好,作者之前【2017年】也有过国家电网售电量预测项目实操经验,对电力行业的预测痛点和难题颇为熟悉,因此就细致...
长序列时间序列预测(LSTF)要求模型具有较高的预测能力,即能够准确地捕捉输出与输入之间的长期依赖关系。近年来的研究表明,Transformer具有提高预测能力的潜力。然而,Transformer存在几个严重的问题,使其不能直接适用于LSTF,包括二次时间复杂度、高内存使用量和编码器-解码器体系结构固有的局限性。为了解决这些问题,我们...
基于对抗性的权重注意力机制序列到序列模型的锂离子电池SOC估计方法 锂电池荷电状态(SOC)的准确估算是新能源技术发展中的一项关键技术,由于难以直接获取SOC准确数值,而面对此长序列预测问题,采用传统深度学习方法,其估算效果不佳.对此,... 陈治铭,刘建华,柯添赐,... - 《电工技术学报》 被引量: 0发表: 2024年...
LLM跨模态对齐应用实战(结合时序预测) 1:13:57 2 00:05 3 00:06 妈妈再也不用担心我的数学!同济大牛竟把数学讲的如此简单!全套【人工智能-高等数学】课程分享,连草履虫都能学会!再学不会UP下跪!AI/微积分/线性代数/概率论。 2323播放 【保姆级教程】2024最热大模型!AI大模型教程-大模型学习入门到精通,大...
时间序列预测:informer改进模型[new][new][new](Fourier-Mixed Window Informer 采用傅里叶混合窗口注意力机制加速)实现高精度长期预测 PyTorch框架实现 多输出单输出 多输入多输出 单输入单输出。 程序设计 完整程序和数据获取方式:私信博主回复PyTorch基于改进Informer模型的时间序列预测(锂电池SOC估计)。