IV. 完整代码 完整代码及数据:https://github.com/ki-ljl/Per-FedAvg,点击阅读原文即可跳转至代码下载界面。
数据集为某城市十个地区的风电功率,我们假设这10个地区的电力部门不愿意共享自己的数据,但是他们又想得到一个由所有数据统一训练得到的全局模型。 III. Per-FedAvg 算法伪代码: 1. 服务器端 服务器端和FedAvg一致,这里不再详细介绍了,可以看看前面几篇文章。 2. 客户端 对于每个客户端,我们定义它的元函数Fi(w...
利用元学习我们可以得到一个初始模型,该初始模型在一批新的数据上进行少数几轮迭代后就能快速收敛,得到一个不错的个性化模型。Per-FedAvg借鉴了这一思想,设计了一个新的优化函数,该优化函数是所有客户端元函数的平均,而客户端元函数则是本地损失函数进行一步梯度下降后得到的。对新的优化函数进行优化后,我们得到的初...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在发送...
Per-FedAvg:联邦个性化元学习 ▊介绍与引言 传统联邦学习弊端:只为所有用户开发一个公共模型,因此,它不会将模型适应于每个用户,这是一个重要的缺失特性,特别是当考虑到不同用户的底层数据分布的异质性。 在本文中,作者研究了联邦学习的个性化变体,其中我们的目标是找到一个初始共享模型,基于初始模型,当前或新用户...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
Per-FedAvg 技术标签:联邦学习元学习机器学习大数据 《Personalized Federated Learning: A Meta-Learning Approach》这篇文章利用元学习来实现联邦个性化学习,将用户看作元学习中的多个任务。和元学习一样,其目标是找到一个初始化模型,当前用户或新用户只需对他们的本地数据执行一步或几步梯度下降,便可将模型适应他们...
元学习是当下比较热门的一个研究方向,本篇文章将联邦学习和一种模型不可知元学习方法MAML结合起来,提出了一种新的个性化联邦技术Per-FedAvg。 所谓元学习,就是学会学习。利用元学习得到的模型,当我们在面临一个新的任务时,经过很少的训练步骤就可以得到一个比较好的模型,而不必像经典机器学习一样,需要在一个数据集...
作者提供了一组数值实验,说明了两种不同的一阶近似的性能(FO and HF)及其与FedAvg方法的比较,可以知道综合来看Per-FedAvg(HF)优于FedAvg。同时也间接证明了作者所提模型不可知论的元学习进行个性化联邦学习方法的有效性。核心就是作者通过MAML的启发来作为模型初始化参数再利用微调适应本地私有数据,从而提升模型性能与...