Lag-Llama 方法将概率预测视为从学生 t 分布中抽取的样本,并需要对学生 t 分布的自由度、均值和尺度三个关键参数进行建模。除学生 t 分布外,Lag-Llama 还可以灵活应用其他分布。 ZSL和FSL Lag-Llama的作者介绍称,它在未见过的数据集上表现出强大的零次学习能力,并在根据特定数据对模型进行微调后,又展现出强大...
3、Lag-Llama的训练 作为一个基础模型,Lag-Llama显然是在大量的时间序列数据语料库上训练的,因此该模型可以很好地泛化未见过的时间序列并进行零样本预测。 论文中说:Lag-Llama在来自不同领域的27个时间序列数据集上进行了训练,如能源、交通、经济等。 数据包含7965个单变量时间序列,总计约3.52亿个令牌。 所有数据集...
下面回到Lag-Llama模型,如下: 模型遵循自回归的模式,以历史时刻单变量的值以及对应的协变量为输入,经过M个transformer-based Decoder层,得到历史数据的表征,最后再经过一个Distribution head输出下个时刻预测值的概率分布,如上图蓝色三角形所示,最终通过最小化对数似然训练整个模型。 对于Distribution head,可以选择不同...
本文介绍了Lag-Llama,这是一种专门用于单变量时间序列预测的开源大模型。Lag-Llama基于Transformer的纯解码器架构,灵感来自大型语言模型LLaMA,其关键在于不依赖于频率的通用时间序列数据处理策略。文章详细阐述了Lag-Llama的架构、数据处理方式、训练过程以及其在实际应用中的性能和表现。 ### Lag-Llama的主要特点: 1. ...
Lag-Llama: 时间序列大模型开源了！在时间序列预测领域，Lag-Llama是一个具有里程碑意义的开源大模型。它以单变量概率预测为核心，提供了一种通用且不依赖频率的方法来标记时间序列数据，从而实现良好的泛化能力。Lag-Llama的架构基于Transformer，灵感源自LLaMA的体系结构，使得模型能够解析输入token，并将它们...
hugging-face镜像:https://hf-mirror.com/time-series-foundation-models/Lag-Llama 官方示例的百度网盘: 链接:https://pan.baidu.com/s/1zRt8HLI-txi9aaAHcXWdZw?pwd=z366 提取码:z366 这是一个借鉴了Llama模型结构的单变量概率时间预测模型,使用了海量的数据集进行预训练,用户可以根据实际的任务进行模型微调...
虽然TimeGPT是一个专有模型,只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了2024年2月,已经有了一个用于时间序列预测的开源基础模型:laglllama。 在原论文《Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting》中,模型作为单变量概率预测的通用基础模型提出。它是由...
Lag-Llama是一个专为单变量概率预测设计的开源基础模型,能够灵活处理不同频率的时间序列数据。它基于Transformer结构,结合分布头进行未来预测及置信区间估计。通过综合标记策略(包括滞后特征和静态协变量),Lag-Llama在时间序列预测中展现出强大的适应性。此外,项目基于GluonTS框架构建,便于开发者利用现有功能和优化提升开发效...
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting - lag-llama/data/read_new_dataset.py at main · JD0330/lag-llama
main configs data gluon_utils images lag_llama scripts utils .gitignore LICENSE README.md requirements.txt run.pyBreadcrumbs lag-llama / requirements.txt Latest commit Cannot retrieve latest commit at this time. HistoryHistory File metadata and controls Code Blame 8 lines (8 loc) · 99 Bytes ...