【新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了任务通用的时序分析模型,展现出大模型特有的泛化性与可扩展性 时间序列提供了数据随时间变化的视角,对于...
为将异构时间序列转换为统一格式,作者团队提出了一种单序列(Single Series Sequence, S3)格式。 如下图所示,通过变量拆分,归一化合并,分窗和采样等流程,文章将时序数据转换成了与语言类似的固定长度的一维序列,在数值范围内保证分布稳定的同时,让模型更加关注序列本身的变化模式。 在预训练方法上,文章将单序列切分为...
一是2022年的DLinear,以及其简单的MLP网络取得了非常惊艳的效果,直接质疑Transformer在时间序列处理上的有效性; 二是2023年的TimesNet。TimesNet通过多周期的分解,把1D的时间序列转换为2D的时间序列,再用2D的卷积核同时提取周期间与周期内的信息,取得了优秀的效果。 三是2024年的TimeMixer。TimeMixer的基本动机是:同...
TSmix通过从不同数据集随机抽样的时间序列中取加权的组合来提高模式多样性 4.2 KernelSynth:使用高斯过程生成合成数据 KernelSynth是一种用于生成合成时间序列的方法,它利用高斯过程生成合成时间序列,以增加模式多样性并弥补实际数据有限的情况下的不足。该方法通过随机组合高斯过程的核...
最近,清华大学软件学院机器学习实验室和大数据系统软件国家工程研究中心提出了名为Timer(Time Series Transformer)的面向时间序列的大模型(Large Time Series Model, LTSM)。 模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列...
最近,清华大学软件学院机器学习实验室和大数据系统软件国家工程研究中心提出了名为Timer(Time Series Transformer)的面向时间序列的大模型(Large Time Series Model, LTSM)。 模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列...
高维估计:DeepGPVAR对时间序列进行建模,并考虑它们之间的关系。为此,模型使用低秩高斯近似来估计其协方差矩阵。 缩放:DeepGPVAR不像其前身那样简单地标准化每个时间序列。相反,该模型首先使用高斯Copulas对其进行转换,从而学习如何缩放每个时间序列。 具体理论不展开介绍,现实应用时可以分别尝试Amazon 的预测库Gluon TS中的...
最近在和大佬朋友们交流的时候,发现时间序列领域有一个很有潜力的新方向:大模型+时间序列。 大模型可以处理不同类型的时间序列数据,例如文本、图像、音频等,也可以适应不同的时间序列数据的变化和异常情况,有…
除了利用LLM进行时间序列分析外,时间序列预训练和相关基础模型的开发具有潜力,有助于识别跨领域和任务的一般时间序列模式。 通用模型 自2021年以来,提出了大量预训练的基础模型,其中大多数是通用的。Voice2Series是第一个能够重新编程用于时间序列任务的框架。基于对比学习技术出现了几个基于时间序列数据的预训练基础模型...
因此关于时间序列+预训练大模型的研究正在快速发展,并且已经在多个领域和应用中有了显著的成果,比如Chronos、清华Timer等,更有提高了42.8%性能的ViTST。 如果有同学有想法发论文,可以从零样本和通用性下手,这俩是这个方向关注的重点。另外为方便大家找参考,我整理了10个时间序列+预训练大模型最新成果,全都已开源可复...