这得益于其采用的稀疏混合专家模型(Sparse MOE)架构,该架构通过激活较少的参数,在推理效率上优于密集参数的 MOIRAI 模型。 在一项针对 MOIRAI、MOIRAI-MOE 和 Chronos 的对照实验中,在相同上下文长度条件下,MOIRAI-MOE 展现出更优的推理速度: 图2...
“Moirai” 是古希腊神话中掌管命运的女神，拥有预知未来的能力，来自 Salesforce AI Research 的研究者们提出了一种通用的预测范式，使得预训练模型能够处理任意的时间序列预测任务。与当前最优的从零开始训练的模型相比，Moirai 的零样本（zero-shot）预测能力具有竞争力，甚至在某些情况下表现更优。此外，还发布并开...
时间序列基础模型终于迎来了突破性发展! 之前的文章探讨了TimesFM。本文将探讨Salesforce开发的革命性时间序列基础模型MOIRAI。MOIRAI不仅在性能上表现出色,更重要的是,其作者承诺将开源该模型及其训练数据集! 该…
MOIRAI模型的架构设计考虑了时间序列数据的多样性和复杂性,通过创新的多尺度处理、任意变量注意力机制和灵活的混合分布预测,实现了对多种时间序列预测任务的有效建模。 实验 作者在Monash基准测试和未见过的目标数据集上对MOIRAI进行了评估,展示了其在零样本设置下与全样本基线相比具有竞争力或更优越的性能。 贡献 提出...
Moirai 是 Salesforce 开发的用于时间序列预测的基础模型。它被设计为一种通用模型,能够预测广泛的时间序列。为了实现这种灵活性,该模型解决了时间序列数据相关的几个挑战,包括: 处理各种数据频率(小时、日、周等); 适应任何数量和类型的协变量,无论它们在未来是否已知; ...
近期，来自 Salesforce、新加坡国立大学、香港科技大学（广州）的研究者以模型专家化这一全新视角作为抓手，设计并提出了下一代时序预测基础模型 Moirai-MoE。该模型将模型专业化设计在 token 这一细粒度运行，并且以完全自动的数据驱动模式对其赋能。模型性能方面，不同于仅在少量数据集上进行评估的已有时序基础模型，...
核心部分，Moirai是Salesforce构建的通用时间序列预测模型，针对多尺寸补丁投影层、任意变量注意力和混合分布等关键特性进行设计。补丁化技术用于捕捉序列中不同时间步的局部语义信息，而任意变量注意力则允许模型处理多变量和动态协变量。Moirai的输出是概率预测，提供不确定性评估，而非单一预测点。与其他模型...
Salesforce推出Moirai-MoE,新视角设计下一代时序基础模型#机器学习 #人工智能 #计算机 #论文圆圆的算法笔记 立即播放 打开App,流畅又高清100+个相关视频 更多 157.2万 2940 04:08 百万播放 App 这4分钟包含我对硕士论文的全部理解 6917 0 01:32 App 上海交大多元时序预测工作,融合Transformer和Linear模型优势,...
简介:**Moirai-MoE:时间序列预测的新突破**Salesforce Research团队提出了Moirai-MoE模型,通过稀疏混合专家(MoE)技术,解决了传统时间序列预测方法中存在的频率不可靠和非平稳性问题。该模型在39个数据集上的实验结果表明,其性能优于现有基础模型,具有更高的创新性和泛化能力。论文地址:https://arxiv.org/abs/2410.10...
近期,来自 Salesforce、新加坡国立大学、香港科技大学(广州)的研究者以模型专家化这一全新视角作为抓手,设计并提出了下一代时序预测基础模型 Moirai-MoE。该模型将模型专业化设计在 token 这一细粒度运行,并且以完全自动的数据驱动模式对其赋能。模型性能方面,不同于仅在少量数据集上进行评估的已有时序基础模型,Moirai-...