作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在发送...
与FedPer不同,Per-FedAvg的目的是获得一个初始模型,然后使用该初始模型在各个客户端的数据上进行少数几轮训练就可以得到一个较好的本地模型。通过这种方式,虽然初始模型是在所有用户上以分布式方式导出的,但每个用户的最终模型都与其他客户端的模型不同,这一点与FedPer一致。 2 Per-FedAvg 2.1 初始模型 我们假设所...
利用元学习我们可以得到一个初始模型,该初始模型在一批新的数据上进行少数几轮迭代后就能快速收敛,得到一个不错的个性化模型。Per-FedAvg借鉴了这一思想,设计了一个新的优化函数,该优化函数是所有客户端元函数的平均,而客户端元函数则是本地损失函数进行一步梯度下降后得到的。对新的优化函数进行优化后,我们得到的初...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
Per-FedAvg:联邦个性化元学习 ▊介绍与引言 传统联邦学习弊端:只为所有用户开发一个公共模型,因此,它不会将模型适应于每个用户,这是一个重要的缺失特性,特别是当考虑到不同用户的底层数据分布的异质性。 在本文中,作者研究了联邦学习的个性化变体,其中我们的目标是找到一个初始共享模型,基于初始模型,当前或新用户...
Per-FedAvg 技术标签:联邦学习元学习机器学习大数据 《Personalized Federated Learning: A Meta-Learning Approach》这篇文章利用元学习来实现联邦个性化学习,将用户看作元学习中的多个任务。和元学习一样,其目标是找到一个初始化模型,当前用户或新用户只需对他们的本地数据执行一步或几步梯度下降,便可将模型适应他们...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
Per-FedAvg的原理请见: Cyril-KI:arXiv | Per-FedAvg:一种联邦元学习方法12 赞同 · 10 评论文章 II. 数据集介绍 联邦学习中存在多个客户端,每个客户端都有自己的数据集,这个数据集他们是不愿意共享的。 数据集为某城市十个地区的风电功率,我们假设这10个地区的电力部门不愿意共享自己的数据,但是他们又想得到...
Per-FedAvg的原理请见:arXiv | Per-FedAvg:一种联邦元学习方法。 II. 数据介绍 联邦学习中存在多个客户端,每个客户端都有自己的数据集,这个数据集他们是不愿意共享的。 数据集为某城市十个地区的风电功率,我们假设这10个地区的电力部门不愿意共享自己的数据,但是他们又想得到一个由所有数据统一训练得到的全局模...