作者训练了 small/base/large 三种不同规模的模型,分别有 14m/91m/331m 个参数,在通过 Monash 时序预测基准上进行 in-distribution 评估时,Moirai 模型击败了所有的基准模型。 在out-of-distribution/zero-shot 预测评估中,Moirai 始终表现出有竞争力的性能,在一些实例中超过了当下最好的 full-shot 的模型性能。
再将上述多个检索序列对应的融合表征求平均后,和原始序列再进行一次相加,得到最终的输入表征,输入到时间序列基础模型中进行预测。其中时间序列基础模型部分参数冻结不训练,融合表征生成的MLP网络参与训练。 3 实验效果 下图对比了在各个数据集中,是否引入RAF的效果差异,可以看到引入RAF可以显著降低zero-shot learning的拟合...
LLM在预测下一个token时会选择概率大的一个,当然这里有不同的采样策略。但无论什么采样策略,99%的概率比起51%的概率,量变并没有引起质变。而人脑不同,只要概率超过某个阈值,就会引起相变,类似于由液态变为固态,形成信仰,例如对牛顿定律的信仰。宗教信仰的起源可能也是类似的。因此人脑更善于少样本(few-shot)...
作者训练了 small/base/large 三种不同规模的模型,分别有 14m/91m/331m 个参数,在通过 Monash 时序预测基准上进行 in-distribution 评估时,Moirai 模型击败了所有的基准模型。 在out-of-distribution/zero-shot 预测评估中,Moirai 始终表现出有竞争力的性能,在一些实例中超过了当下最好的 full-shot 的模型性能。
首个全开源时间序列预测基础模型 Moirai 来了(“Moirai” 在古希腊神话中是命运女神的名字具有预知未来的能力)!来自 Salesforce AI research 的研究者提出了一种通用的预测范式,使得预训练模型有能力处理任意的时序预测任务。与当下最优的从零训练模型相比,Moirai 的 zero-shot 预测能力具有竞争力甚至表现出更优越的...
首个全开源时间序列预测基础模型 Moirai 来了(“Moirai” 在古希腊神话中是命运女神的名字具有预知未来的能力)!来自 Salesforce AI research 的研究者提出了一种通用的预测范式,使得预训练模型有能力处理任意的时序预测任务。与当下最优的从零训练模型相比,Moirai 的 zero-shot 预测能力具有竞争力甚至表现出更优越的...