作者团队对同期涌现的时序大模型进行了全面测评，在零样本预测任务中，大模型不更新任何参数，直接输入数据集中时间序列进行预测。在7个真实数据集中，Timer取得了综合最优的水平。模型分析 为确认时序领域的大模型骨架，作者团队对不同模型进行了同样规模的预训练，包括基于MLP的TiDE、TCN、LSTM以及Transformer的两种结构，...
模型应用 可解释性 end PRE 上篇介绍了基于LSTM框架的时序大模型DeepAR,本篇则挑选基于Transformer架构的时序模型TFT(Temporal Fusion Transformer)进行讲解,正如上篇所说,虽然现在Transformer框架确实在NLP 领域占据主导地位,但它们在时间序列相关任务中的表现并没有明显优于 LSTM。还是需要具体数据具体分析。 前置知识: 叫...
Chronos模型在零样本性能方面显著优于本地统计模型,在概率预报方面表现良好,优于许多特定任务模型。通过微调Chronos-T5(小型)模型,其在基准II上的总体性能得到了显著提高,超过了更大的Chronos模型和最佳特定任务模型。 图5 在基准II上的不同模型性能,包含在训练过程中...
通过优化灵活分布的负对数似然,确保模型在目标度量优化方面具有竞争力,这对预训练通用预测模型是一项强大的特性。这种方法允许后续使用任何目标度量进行评估。 最后,为了促进大规模时间序列模型的训练,引入了LOTSA,这是最大的开放时间序列数据集集合,通过汇总公开可用的时间序列数据集来源而成。该工作旨在涵盖广泛的领域,将...
最近,清华大学软件学院机器学习实验室和大数据系统软件国家工程研究中心提出了名为Timer(Time Series Transformer)的面向时间序列的大模型(Large Time Series Model, LTSM)。 模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列...
之前我们介绍过TimeGPT,它是第一个时间序列的大模型,具有零样本推理、异常检测等能力。TimeGPT引发了对时间序列基础模型的更多研究,但是它是一个专有模型,只能通过API访问。 如今,终于出现一个用于时间序列预测的开源大模型:Lag-Llama 在原论文《Lag-Llama: Towards Fou...
除了利用LLM进行时间序列分析外,时间序列预训练和相关基础模型的开发具有潜力,有助于识别跨领域和任务的一般时间序列模式。 通用模型 自2021年以来,提出了大量预训练的基础模型,其中大多数是通用的。Voice2Series是第一个能够重新编程用于时间序列任务的框架。基于对比学习技术出现了几个基于时间序列数据的预训练基础模型...
大模型在自然语言处理、计算机视觉和其他领域取得了显著成果,但在传统的时间序列和时空数据分析方法中,大模型的应用相对较少。 尽管最近在为时间序列和时空数据的大模型开发铺平了道路,但在许多情况下,大规模数据集的缺乏仍然是一个重大的障碍。即便如此,我们已经目睹了在不同任务和领域中成功尝试数量的急剧增加,这充...
时间序列(Time Series)分析是机器学习中一个重要的分支。时间序列在生产生活中应用极广,所以对它的研究也很早,产生的研究成果也很多。当前,以Transformer为基础的大模型技术横扫了人工智能各个领域。这股新风也吹到了时间序列分析领域,并产生了不少的研究成果。因此,让我们来总结一下当前大模型时代下的时间序列分析技...
时间序列大模型TimesNet—轻松摘冠五大任务 基于时间序列的深度学习任务,下游场景的应用方向比较多,既有需要细粒度建模的预测任务,也有需要提取高层语义信息的分类任务,不同任务间数据、目标差距较大,想要形成一个通用型的基础大模型,其难度要高于视觉模型。继SAM分割大模型后,清华团队提出TimesNet模型,通过傅里叶变换,...