相比于Moirai,Moirai-MoE不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模,而是使用单个输入/输出投影层,同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家。此外,Moirai-MoE使用了decoder-only的训练目标。 时序Token:Moirai-MoE采用patching将时序切成没有重叠的小块,而后对...
与 Moirai 无法超越的基础模型 Chronos 相比,Moirai-MoE 成功弥补了差距,并相比它少65倍激活参数,这带来了巨大的推理速度的优势。 上表展示了在零样本预测设定时,Moirai-MoE 在10个数据集上的点预测和概率预测的表现。Moirai-MoE-Base 取得了...
论文标题：Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts论文地址：https://arxiv.org/abs/2410.10469代码仓库：https://github.com/SalesforceAIResearch/uni2ts 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性，这种时序数据的独特特性凸显了设计专业化...
Moirai-MoE构建在它的前序工作Moirai之上。虽然Moirai-MoE继承了Moirai的许多优点,但其主要改进在于:Moirai-MoE不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模,而是使用单个输入/输出投影层,同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家。此外,Moirai-MoE提出了一种新型...
论文标题:Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts 论文地址:https://arxiv.org/abs/2410.10469 代码仓库:https://github.com/SalesforceAIResearch/uni2ts 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性,这种时序数据的独特特性凸显了设计专业化模...
https://github.com/SalesforceAIResearch/uni2ts/tree/main/project/moirai-moe-1 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性,这种时序数据的独特特性凸显了设计专业化模块的必要性。现有的解决方案主要分为两种。 作者认为,这种人为强加的频率级专业化缺乏普适性,并引入了一些局限性。
论文标题:Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts 论文地址:https://arxiv.org/abs/2410.10469 代码仓库:https://github.com/SalesforceAIResearch/uni2ts 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性,这种时序数据的独特特性凸显了设计专业化模...
论文标题:Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts 论文地址:https://arxiv.org/abs/2410.10469 代码仓库:https://github.com/SalesforceAIResearch/uni2ts 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性,这种时序数据的独特特性凸显了设计专业化模...
接多变量时序大模型 Moirai 代码阅读 1:项目框架。同样还是以预训练过程为例。 在cli/train.py的main函数 130 行定义了数据集类: model:L.LightningModule=instantiate(cfg.model,_convert_="all")...train_dataset:Dataset=instantiate(cfg.data).load_dataset(model.train_transform_map) ...
论文标题:Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts 论文地址:https://arxiv.org/abs/2410.10469 代码仓库:https://github.com/SalesforceAIResearch/uni2ts 研究动机 训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性,这种时序数据的独特特性凸显了设计专业化模...