作者团队对同期涌现的时序大模型进行了全面测评，在零样本预测任务中，大模型不更新任何参数，直接输入数据集中时间序列进行预测。在7个真实数据集中，Timer取得了综合最优的水平。模型分析 为确认时序领域的大模型骨架，作者团队对不同模型进行了同样规模的预训练，包括基于MLP的TiDE、TCN、LSTM以及Transformer的两种结构，...
Chronos模型在零样本性能方面显著优于本地统计模型,在概率预报方面表现良好,优于许多特定任务模型。通过微调Chronos-T5(小型)模型,其在基准II上的总体性能得到了显著提高,超过了更大的Chronos模型和最佳特定任务模型。 图5 在基准II上的不同模型性能,包含在训练过程中...
模型简介 Temporal Fusion Transformer (TFT) 是 Google 2020年发布的基于 Transformer 的时间序列预测模型。 论文: https://arxiv.org/abs/1912.09363arxiv.org/abs/1912.09363 其凭借以下几大优点以及新颖之处,为其在时序预估领域博得了一席之地: 1、可输入丰富的特征: i) known future inputs:如未来高校...
新智元报道 编辑:LRST 好困【新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了任务通用的时序分析模型
时间序列大模型:Time-LLM、iTransformer。 (1)时序大模型:Time-LLM 多模态&跨领域一元时序预测 Time-LLM 模型是通过重编程(model reprogramming)大语言模型来实现时间序列预测的时序基础模型。 Model reprogramming 是 cross modality(跨模态)的一种能力,通过源数据预训练好的模型来把这个模型应用到另一个 modality,不...
因此关于时间序列+预训练大模型的研究正在快速发展,并且已经在多个领域和应用中有了显著的成果,比如Chronos、清华Timer等,更有提高了42.8%性能的ViTST。 如果有同学有想法发论文,可以从零样本和通用性下手,这俩是这个方向关注的重点。另外为方便大家找参考,我整理了10个时间序列+预训练大模型最新成果,全都已开源可复...
除了利用LLM进行时间序列分析外,时间序列预训练和相关基础模型的开发具有潜力,有助于识别跨领域和任务的一般时间序列模式。 通用模型 自2021年以来,提出了大量预训练的基础模型,其中大多数是通用的。Voice2Series是第一个能够重新编程用于时间序列任务的框架。基于对比学习技术出现了几个基于时间序列数据的预训练基础模型...
之前我们介绍过TimeGPT,它是第一个时间序列的大模型,具有零样本推理、异常检测等能力。TimeGPT引发了对时间序列基础模型的更多研究,但是它是一个专有模型,只能通过API访问。 如今,终于出现一个用于时间序列预测的开源大模型:Lag-Llama 在原论文《Lag-Llama: Towards Fou...
最近在和大佬朋友们交流的时候,发现时间序列领域有一个很有潜力的新方向:大模型+时间序列。 大模型可以处理不同类型的时间序列数据,例如文本、图像、音频等,也可以适应不同的时间序列数据的变化和异常情况,有助于提高时间序列预测的准确性和稳定性。另外,大模型还可以通过文本形式提供解释性的时间序列预测结果,从而帮...
大模型在自然语言处理、计算机视觉和其他领域取得了显著成果,但在传统的时间序列和时空数据分析方法中,大模型的应用相对较少。 尽管最近在为时间序列和时空数据的大模型开发铺平了道路,但在许多情况下,大规模数据集的缺乏仍然是一个重大的障碍。即便如此,我们已经目睹了在不同任务和领域中成功尝试数量的急剧增加,这充...