- 此文提出的Moirai-MoE是第一个混合专家时间序列基础模型,它以数据驱动的方式实现token级模型专业化。 -在 39 个数据集上进行的大量实验表明,Moirai-MoE 在相同模型大小下比Moirai的性能提高了 17%,并且优于其他时序基础模型,如Chronos,TimsFM。 - 作者进行了详尽的模型分析,以加深对时间序列MoE基础模型内部运作...
论文标题：Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts论文地址：https://arxiv.org/abs/2410.10469代码仓库：https://github.com/SalesforceAIResearch/uni2ts 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性，这种时序数据的独特特性凸显了设计专业化...
这个博客介绍Salesforce AI Research的一个重大创新 —— Moirai。这是一时间序列基础模型,提供了通用预测能力。它能够以零样本的方式处理跨多个领域、频率和变量的多样化预测任务。 论文链接https://arxiv.org/abs/2402.02592), GitHub:https://github.com/SalesforceAIResearch/uni2ts Dataset: https://huggingface...
此外，还发布并开源了预训练框架 uni2ts、Moirai 模型权重，以及 LOTSA 数据集——这是目前最大的开源时间序列预测预训练数据集。论文题目: 《Unified Training of Universal Time Series Forecasting Transformers 》地址链接: https://arxiv.org/abs/2402.02592预训练代码链接: https://github.com/SalesforceAIRes...
https://arxiv.org/pdf/2410.10469 关于我们 数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。 新浪微博:@数据派THU 微...
论文题目: 《Unified Training of Universal Time Series Forecasting Transformers 》地址链接:https://arxiv.org/abs/2402.02592 预训练代码链接:https://github.com/SalesforceAIResearch/uni2ts 预训练数据集:https://huggingface.co/datasets/Salesforce/lotsa_data ...
论文地址:https://arxiv.org/abs/2410.10469 代码仓库:https://github.com/SalesforceAIResearch/uni2ts 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性,这种时序数据的独特特性凸显了设计专业化模块的必要性。现有的解决方案主要分为两种。第一种是通过基于语言的提示来识别数据源,从而实现非常...
https://arxiv.org/abs/2410.10469 【代码仓库】https://github.com/SalesforceAIResearch/uni2ts/tree/main/project/moirai-moe-1 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性,这种时序数据的独特特性凸显了设计专业...
相比两年前 Monash 作为唯一的开放时间序列数据集仓库,如今的格局已发生显著改变。最后,作为一项成熟的机器学习技术,混合专家模型在时间序列基础领域的应用为未来发展开辟了新的方向,我们期待看到更多模型采用 MOE 架构。 论文链接: https://arxiv.org/pdf/2410.10469 作者: Nikos Kafritsas...
https://arxiv.org/abs/2402.02592 其他引用 [1] Garza, A., & Mergenthaler-Canseco, M. (2023). TimeGPT-1.arXiv.2310.03589 [2] Rasul, K., Ashok, A., Williams, A. R., Ghonia, H., Bhagwatkar, R., Khorasani, A., Darvishi Bayazi, M. J., Adamopoulos, G., Riachi, R., Hass...