该模型首次将时间序列预训练大模型的参数规模推向十亿级别,在时序预测领域实现了里程碑式的突破。Time-MoE模型通过MoE架构的独特优势,将模型参数成功扩展至24亿,不仅显著提升了预测精度,还在降低计算成本的同时超越了众多现有模型,全面达到了SOTA(State of the Art)水平。 与此同时,团队精心整理了预训练数据集Time-300B...
基于新架构Mamba的时间序列预测模型TimeMachine,效果超越Transformer SOTA模型#机器学习 #论文 #人工智能 3516 0 01:19 App Patch时间序列模型新工作:多粒度patch建模方法#机器学习 #人工智能 #算法 2348 0 01:34 App 时序表示学习系列:南洋理工利用对比学习进行无监督时序预训练#人工智能 #深度学习 #南洋理工大学...
达摩院长时序预测模型FEDformer的优势: 专门设计周期趋势项分解模块:通过多次分解以降低输入输出的波动,进一步提升预测精度。 达摩院FEDformer模型架构 实验证明,达摩院新模型在电力、交通、气象等6个标准数据集上均取得最佳纪录,预测精准度较此前业界最佳模型分别提升14.8%...
在Monash Forecasting Archive 数据集上的表现:TimesFM 在包含数千个不同时间尺度和领域的时序数据的 Monash Forecasting Archive 数据集上,其零样本预测性能超过了大多数监督学习方法,包括 DeepAR 和 WaveNet 等深度学习模型。 在Darts数据集上的表现:TimesFM 在 Darts 数据集上表现出色,其性能与 ARIMA 和 llmtime ...
AAAI 2023),对Transformer在时间序列预测中的有效性提出了质疑。随之而来的,是一系列利用简单MLP打败Transformer的工作(比如华为的时序Mixer)。近期,一种Transformer的新变种,又为Transformer找回了场子,利用Vision Transformer中的patch建模思路升级了Transformer,又打败了MLP模型。 谷歌这篇文章,则又对MLP进行了升级,再次...
构建类似NLP领域的统一大模型是时序预测领域近期研究的焦点。虽然前序已经涌现很多工作,但是这些建模方法只能处理最多几百长度的上下文序列,比如根据历史200个数据点预测未来时刻的序列值。而NLP中的建模可以利用千级别甚至万级别的上下文信息。历史序列长度的不足,导致时序预测模型无法根据完整的、长周期的历史信息进行预测...
在以往的时序预测中,大部分使用的是基于统计和机器学习的一些方法。然而,由于深度学习在时间序列的预测中表现并不是很好,且部分论文表述,在训练时间方面,用 Transformer、Informer 、Logtrace 等模型来做时间序列预测的效果甚至不如通过多层感知机与线性回归做加权。 基于以上背景,近年来,学术界针对时间序列的特点,设计...
基于Transformer的时间序列预测,通过Attention机制捕捉point-wise的关系,能够在时序预测中取得较好效果,但仍存在较大不足。 而Informer、Autoformer等模型对传统Attention机制进行了改进,在提高计算效率的同时能够取得较好的效果。传统Transformer为平方复杂度,Autoformer (NeurIPS'21)、Informer (AAAI'21 Best paper)、Refor...
华东师大提出DUET:「双向聚类」新设计,性能刷新SOTA! 时序预测领域的新革命正在悄然兴起,华东师范大学与丹麦奥尔堡大学的研究团队近日共同提出了一种创新性的时间序列预测框架——DUET,利用双向聚类架构,成功克服了一系列传统模型在实际应用中遭遇的难题。这一突破性的研究在即将召开的KDD 2025大会上引起了广泛关注,为多...
无需训练大语言模型就能实现高精度时序预测,超越一切传统时序模型。 来自蒙纳士大学、蚂蚁、IBM研究院提出了一种通用框架,结果成功激活大语言模型跨模态处理时序数据的能力。 时序预测有益于城市、能源、交通、遥感等典型复杂系统的决策制定。 自此,大模型有望彻底改变时序/时空数据挖掘方式。