【新智元导读】大模型在语言、图像领域取得了巨大成功，时间序列作为多个行业的重要数据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务通用的时序分析模型，展现出大模型特有的泛化性与可扩展性 时间序列提供了数据随时间变化的视角，对于...
时间序列预测模型强烈需求促使预测模型朝着通用预测范式（见下图）发展，即一个大型预训练模型能够处理任何时间序列预测问题。上图：通用预测模型是一个大型预训练模型，能够处理任何时间序列预测问题。它在一个涵盖多个领域的大规模时间序列数据集上进行训练。与现有的范式相比，通用预测面临三个关键问题：i) 多种频率，...
最近,清华大学软件学院机器学习实验室和大数据系统软件国家工程研究中心提出了名为Timer(Time Series Transformer)的面向时间序列的大模型(Large Time Series Model, LTSM)。 模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列...
Deep GPVAR 是一种自回归深度学习模型,它利用低秩高斯过程,通过考虑数千个时间序列的相互依赖性,对它们进行联合建模,Deep GPVAR 与 DeepAR 的区别有两点: 高维估计:DeepGPVAR对时间序列进行建模,并考虑它们之间的关系。为此,模型使用低秩高斯近似来估计其协方差矩阵。 缩放:DeepGPVAR不像其前身那样简单地标准化每个...
最近,清华大学软件学院机器学习实验室和大数据系统软件国家工程研究中心提出了名为Timer(Time Series Transformer)的面向时间序列的大模型(Large Time Series Model, LTSM)。 模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列...
本文从简约主义的视角探讨了时间序列通用预训练大模型的开发问题,并提出了Chronos模型。这是一个用于时间序列的语言建模框架,对时间变化不敏感,并且与任何语言模型架构兼容,只需进行微小的调整。它通过缩放和量化将时间序列分词为固定词汇表,并使用交叉熵损失训练现有的变...
最近,清华大学软件学院机器学习实验室和大数据系统软件国家工程研究中心提出了名为Timer(Time Series Transformer)的面向时间序列的大模型(Large Time Series Model, LTSM)。 模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列...
除了利用LLM进行时间序列分析外,时间序列预训练和相关基础模型的开发具有潜力,有助于识别跨领域和任务的一般时间序列模式。 通用模型 自2021年以来,提出了大量预训练的基础模型,其中大多数是通用的。Voice2Series是第一个能够重新编程用于时间序列任务的框架。基于对比学习技术出现了几个基于时间序列数据的预训练基础模型...
最近在和大佬朋友们交流的时候,发现时间序列领域有一个很有潜力的新方向:大模型+时间序列。 大模型可以处理不同类型的时间序列数据,例如文本、图像、音频等,也可以适应不同的时间序列数据的变化和异常情况,有助于提高时间序列预测的准确性和稳定性。另外,大模型还可以通过文本形式提供解释性的时间序列预测结果,从而帮...
大模型可以从时间序列数据中提取关键特征,整合来自不同数据源的信息,包括文本和图像,从而提供更全面、更准确的时间序列预测。 这其中,由于LLMs原始文本数据与时间序列数据存在数值特性之间的差距,如何将时间序列数据输入大模型就成为了实现LLMs在时间序列预测领域应用的关键性问题。