在模型结构方面,模型结构采用全MLP的层次形式,每层网络分为3个层次,分别进行patch内建模、patch间建模、变量间建模。每个层次的模型都是MLP+GELU+残差网络组成。 实验结果 在多元时间序列不同时间窗口的效果评估上,本文提出的方法取得了7%的MSE效果提升。 文中也进行了消融实验,对比是否引入可扩展patch划分,以及3层次...
时间序列用Transformer进行分析时,需要将其划分为patches,最常用的一种方法是使用时间窗口。假设有一个长度为N的时间序列,设置窗口长度为W,stride为S,求能划分的patch个数。 问Kimi得到的的结果: 问ChatGPT得到的结果: ChatGPT在这个问题上拿下一分,Kimi加油啊!
本文的核心点包括2个方面,第一个是可扩展的动态patch划分代替固定patch划分;另一个是在模型结构上采用全MLP的3层时间序列建模,实现patch内、patch间、变量间3个维度的信息交互。 本文设计了一种动态可扩展的patch生成方法。这种方法将patch的生成抽象成5元组(中心点,样本点数量,中心点偏离数、左侧边界偏离数、右侧边...