IV. 完整代码 完整代码及数据:https://github.com/ki-ljl/Per-FedAvg,点击阅读原文即可跳转至代码下载界面。
数据集为某城市十个地区的风电功率,我们假设这10个地区的电力部门不愿意共享自己的数据,但是他们又想得到一个由所有数据统一训练得到的全局模型。 III. Per-FedAvg 算法伪代码: 1. 服务器端 服务器端和FedAvg一致,这里不再详细介绍了,可以看看前面几篇文章。 2. 客户端 对于每个客户端,我们定义它的元函数Fi(w...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在发送...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
Per-FedAvg 《Personalized Federated Learning: A Meta-Learning Approach》这篇文章利用元学习来实现联邦个性化学习,将用户看作元学习中的多个任务。和元学习一样,其目标是找到一个初始化模型,当前用户或新用户只需对他们的本地数据执行一步或几步梯度下降,便可将模型适应他们的本地数据集。这样当有一个新用户进来...
元学习是当下比较热门的一个研究方向,本篇文章将联邦学习和一种模型不可知元学习方法MAML结合起来,提出了一种新的个性化联邦技术Per-FedAvg。 所谓元学习,就是学会学习。利用元学习得到的模型,当我们在面临一个新的任务时,经过很少的训练步骤就可以得到一个比较好的模型,而不必像经典机器学习一样,需要在一个数据集...
简单总结下Per-FedAvg: 1. 服务器初始化模型。 2. 服务器选择一部分客户端发送模型。 3. 对被选中的客户端来讲,需要进行 轮本地更新,在每一轮本地更新中:首先选择一批数据计算损失函数 的梯度,然后进行一步梯度下降得到元函数 ;然后再选择一批数据对 ...
客户端训练和FedAvg一致: def train(args, model, global_round): model.train() Dtr, Dte, m, n = nn_seq(model.name, args.B) model.len = len(Dtr) if args.weight_decay != 0: lr = args.lr * pow(args.weight_decay, global_round) else: lr = args.lr if args.optimizer == 'adam'...