时间序列用Transformer进行分析时,需要将其划分为patches,最常用的一种方法是使用时间窗口。假设有一个长度为N的时间序列,设置窗口长度为W,stride为S,求能划分的patch个数。 问Kimi得到的的结果: 问ChatGPT得到的结果: ChatGPT在这个问题上拿下一分,Kimi加油啊!
为了监督这个可扩展patch划分的合理性,文中使用交叉熵指标,计算使用原始patch方法和这种动态patch方法,整体带来的信息增益,并以此信息增益为目标,监督上述3个参数的学习,让动态划分patch确实能带来增加划分后patch信息量的作用。 在模型结构方面,模型结构采用全MLP的层次形式,每层网络分为3个层次,分别进行patch内建模、pa...
本文的核心是提出了一种动态可扩展的时间序列patch处理方法,相比原来固定窗口的patch划分,能最大限度保留时间序列片段的完整性,避免将存在连续规律的时间序列分到不同patch中,实现了多元时间序列预测任务上的效果提升。 论文标题:HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series ...
该任务涉及掩码 TS 的一部分并预测缺失值,被称为掩码时间序列建模(MTM)。CL 在高级分类任务中表现抢眼,而 MM 则在低级预测任务中表现出色(Yue 等人,2022 年;Nie 等人,2023 年)。TST(Zerveas 等人,2021 年)将 MM 范式应用于 TS,旨在重建被掩码的时间戳。PatchTST (Nie 等人,2023 年)侧重于预测被掩码的子...
简介:PatchTST,即Patch Time Series Transformer,是一种新型的时间序列分析方法。它借鉴了计算机视觉领域的Vision Transformer(ViT)的方法,仅使用Encoder部分,通过时序分块的方式,实现了长期预测的高效和精确。本文将从PatchTST的原理、实现方式、应用场景等方面进行详细阐述,帮助读者更好地理解并应用这一技术。
简介:本文介绍了PatchTST,一种基于Transformer的时间序列分析模型。通过借鉴计算机视觉领域的Vision Transformer(ViT)的方法,PatchTST将时间序列数据分块处理,提高了模型的长期预测能力。本文旨在用简明扼要、清晰易懂的语言,解释PatchTST的原理、应用和实践经验,为非专业读者提供可操作的建议和解决问题的方法。