尽管基于Transformer的方法显著改善了长期序列预测的最先进结果,但它们不仅计算成本高,更重要的是,无法捕捉时间序列的全局视图(例如,总体趋势)。为了解决这些问题,我们提出将Transformer与季节趋势分解方法相结合,其中分解方法捕获时间序列的全局剖面,而Transformer捕获更详细的结构。为了进一步增强Transformer的长期预测性能,我们...
最近阿里巴巴达摩院决策智能实验室在ICML 2022上发表了在时间序列预测方向的最新工作:基于频域分解的FEDformer模型。在长时间序列预测问题,计算效率、预测精度上都得到大幅提升。 论文链接:arxiv.org/abs/2201.1274代码链接:github.com/DAMO-DI-ML/I 本文作者所提出的FEDformer因使用了 low-rank approximation 而可以达...
FEDformer 的主体架构采用编码-解码器架构。周期-趋势分解模块(MOE Decomp)将序列分解为周期项(seasonal,S)和趋势线(trend,T)。而且这种分解不只进行一次,而是采用反复分解的模式。 在编码器中,输入经过两个 MOE Decomp 层,每层会将信号分解为 seasonal 和 trend 两个分量。其中,trend 分量被舍弃,seasonal分量交给...
针对长时间序列预测问题,作者提出了基于频域分解的FEDformer模型。大幅提高了预测精度和模型运行效率。 作者提出了一种基于傅立叶/小波变换的模块,通过在频域进行固定数量的随机采样,使得模型达到线性复杂度同时提高精度。 作者通过实验证明,在涵盖电力,交通,经济,气象,疾病五个领域的6个标准数据集上,FEDformer可以在多维...
我们提出了一种频率增强分解 架构,结合了季节-趋势分解的专家,以更好地捕捉时间序列的全局特性。 我们在 结构中提出了傅里叶增强块和小波增强块,使我们能够通过频率域映射捕捉时间序列中的重要结构。它们作为自注意力和交叉注意力块的替代品。 通过随机选择固定数量的傅里叶成分,所提出的模型实现了线性的计算复杂度...
针对长时间序列预测问题,作者提出了基于频域分解的FEDformer模型。大幅提高了预测精度和模型运行效率。 作者提出了一种基于傅立叶/小波变换的模块,通过在频域进行固定数量的随机采样,使得模型达到线性复杂度同时提高精度。 作者通过实验证明,在涵盖电力,交通,经济,气象,疾病五个领域的6个标准数据集上,FEDformer可以在多维...
在解码器中,编码器的输入同样经过三个 MOE Decomp 层并分解为 seasonal 和 trend 分量,其中,seasonal 分量传递给接下来的层进行学习,其中通过频域Attention(Frequency Enhanced Attention)层对编码器和解码器的 seasonal 项进行频域关联性学习,trend 分量则进行累加最终加回给 seasonal 项以还原原始序列。
[0082] 最终的输出是两个细化的分解分量之和为 其中 是将深度变换后 的季节性分量 投影到目标维度。 [0083] 步骤五、训练FEDformer模型。损失函数设置为MSE损失,使用Adam作为模型训练的 优化器,学习率为10‑4,每次迭代减少到十分之一,将迭代的数量设置为5。 [0084] 步骤六、模型评估和测试。代入训练集,对...
针对长时间序列预测问题,作者提出了基于频域分解的FEDformer模型。大幅提高了预测精度和模型运行效率。 作者提出了一种基于傅立叶/小波变换的模块,通过在频域进行固定数量的随机采样,使得模型达到线性复杂度同时提高精度。 作者通过实验证明,在涵盖电力,交通,经济,气象,疾病五个领域的6个标准数据集上,FEDformer可以在多维...
更新后的变换器具有深度分解架构,包括频率响应分析单元(FEB)、频率增强关注度模块(FEA)、混合专家分解模块(MOEDecomp)。 FEDformer编码器使用类似于变换器编码器的多级结构。它的一个单独的模块能按以下数学表达式表示: 此处Sen表示在MOEDecomp分解模块中,从原始数据中提取的季节性分量。 对于FEB模块,该方法的作者提出...