最近,清华大学软件学院机器学习实验室和大数据系统软件国家工程研究中心提出了名为Timer(Time Series Transformer)的面向时间序列的大模型(Large Time Series Model, LTSM)。 模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列...
在方法论部分,作者提出了一个名为TEMPO的新型时间序列预测框架,该框架基于生成预训练变换器(GPT),并引入了提示(prompt)的设计,以提高模型对时间序列数据的适应性。 问题定义 给定过去K个时间戳的观测值,多变量时间序列预测的任务是预测未来H个时间戳的值。模型F使用参数Φ和提示Vi,基于历史值xi_t-K, ..., xi...
我们将预测三只个股的价格趋势,并使用预测的时间序列值对交易策略进行回测。 开始 在MATLAB R2023a和R2023b中引入了新的层,允许在使用深度网络设计器开发的网络架构中引入Transformer层。由于这些新的Transformer层能够捕获数据中的时间依赖性和长期依赖性,因此它们对于使用金融数据进行时间序列预测非常有用。 (一)positi...
本文提出的预训练Transformer+Prompt方法的方案主要包括3个部分:时间序列输入处理、prompt设计、Transformer预训练3个部分。 在时间序列输入上,文中采用的是序列分解+Patch的形式。首先将时间序列分解成趋势项、季节项和残差,得到3个子序列。对于每个子序列,在归一化后,使用patch的方式分别进行处理,得到3个子序列的patch ...
模型基于Transformer-Mixer模块,该模块能充分学习多维时间序列时间和空间关联.为进一步提升分类模型性能,受异常检测模型启发,模型将预训练后的隐层特征和残差特征进行融合,并采用PolyLoss损失函数对模型训练.为减少模型训练参数量,模型中Transformer-Mixer模块采用递归方式构建,使多层可训练参数量仅为单层Transformer-Mixer参数...
第3篇论文《ElasTST:弹性时间序列Transformer实现稳健的多预测范围建模》时间序列预测在各行各业中起着至关重要的作用。这些实际应用场景往往都需要针对不同时间跨度提供预测,以同时满足短期、中期和长期的规划需求。例如,按小时、周或月预测电力需求,优化电力系统管理。然而,随着预测范围需求的多样性日益增加,目前大多数...
本文提出的预训练Transformer+Prompt方法的方案主要包括3个部分:时间序列输入处理、prompt设计、Transformer预训练3个部分。 在时间序列输入上,文中采用的是序列分解+Patch的形式。首先将时间序列分解成趋势项、季节项和残差,得到3个子序列。对于每个子序列,在归一化后,使用patch的方式分别进行处理,得到3个子序列的patch...
本文提出的预训练Transformer+Prompt方法的方案主要包括3个部分:时间序列输入处理、prompt设计、Transformer预训练3个部分。 在时间序列输入上,文中采用的是序列分解+Patch的形式。首先将时间序列分解成趋势项、季节项和残差,得到3个子序列。对于每个子序列,在归一化后,使用patch的方式分别进行处理,得到3个子序列的patch...
transformer就是为大力出奇迹而生。这句话其实有个context,即transformer之前的RNN, 大力也出不了奇迹。因为RNN这种有时间序列的架构,在处理sequence的时候,它的complexity跟序列长度成线性关系,严重影响了训练时的parallelization。 而transfo 发布于 2023-04-22 21:00・IP 属地美国 ...
【新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了任务通用的时序分析模型,展现出大模型特有的泛化性与可扩展性 ...