元学习系列(七):MAML与Meta-SGD 技术标签:元学习 meta learning的一个重点在于如何在模型中引入先验知识,在孪生网络、原型网络等模型中,他们利用训练集作为先验知识,通过对比测试样本和训练样本进行分析,在神经图灵机等记忆增强神经网络中,模型引入了外部记忆,在训练过程中通过优化外部记忆,从而在训练新任务时,能通过...
元学习系列(七):MAML与Meta-SGD meta learning的一个重点在于如何在模型中引入先验知识,在孪生网络、原型网络等模型中,他们利用训练集作为先验知识,通过对比测试样本和训练样本进行分析,在神经图灵机等记忆增强神经网络中,模型引入了外部记忆,在训练过程中通过优化外部记忆,从而在训练新任务时,能通过外部记忆更快更准确...
与最新的元学习者 MAML 相比,Meta-SGD 则有着更高的容量,不仅会对学习者初始化(learner initialization)进行学习,而且会对学习者的更新方向(update direction)和学习速率进行学习,所有的过程都是在一个单一元学习流程中完成的。Meta-SGD 在与回归(regression)和分类(classification)相关的 few-shot 学习方面展现出了...
与最新的元学习者 MAML 相比,Meta-SGD 则有着更高的容量,不仅会对学习者初始化(learner initialization)进行学习,而且会对学习者的更新方向(update direction)和学习速率进行学习,所有的过程都是在一个单一元学习流程中完成的。Meta-SGD 在与回归(regression)和分类(classification)相关的 few-shot 学习方面展现出了...
论文阅读笔记《Meta-SGD: Learning to Learn Quickly for Few-Shot Learning》,程序员大本营,技术文章内容聚合第一站。
ModelAgnostic Meta-Learning (MAML): 一种基于梯度的元学习方法,旨在训练模型权重,以便在少量数据的情况下快速适应新任务。 Meta-SGD: MAML的扩展,不仅学习模型权重,还优化学习率以快速适应新任务。 Reptile: 一种一阶元学习算法,作为MAML的简化替代方案。
一、MAML 1、示意图: θ∗iθi∗ 表示不同任务的适应参数,∇Li∇Li表示不同任务上的梯度方向 2、算法: 在每个不同的任务上,使用自己任务的support set对全局的参数θθ 进行梯度更新(类似微调),并保存各个任务在query set 上的loss function。其和用于更新meta 网络的参数。 二、Meta-SGD 1、示意图...
表1:Meta-SGD 与 MAML 在 few-shot 回归方面的对比情况。 图3:左:在一个随机 5-shot 回归任务中 Meta-SGD 与 MAML 的对比情况,两种情况下的初始化(虚线)和单步调适(adaption)后的结果(实线)如该图所示。右:在训练样本更多的情况下,Meta-SGD(10-shot 元训练)在元测试中表现地更好。
下面来具体看下MAML算法。 算法的输入是任务集 Tsee ,它分成训练集 Ttrain 和测试集 Ttest ,输出为模型参数 θ。 内部循环(for循环)用SGD算法对中 Ttrain 中的任务进行学习,获得更新参数 θ′。 外部循环用在内部循环中学到的模型的累计测试误差作为损失函数进行meta-learning,获得参数 θ 作为输出。 算法的...
步骤4～步骤7,结束后,MAML完成了第一次梯度更新。接下来我们要做的,是根据第一次梯度更新得到的参数,通过gradient by gradient,计算第二次梯度更新。第二次梯度更新时计算出的梯度,直接通过SGD作用于原模型上,也就是我们的模型真正用于更新其参数的梯度。 步骤8即对应第二次梯度更新的过程。这里的loss计算方法,大...