作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
利用元学习我们可以得到一个初始模型,该初始模型在一批新的数据上进行少数几轮迭代后就能快速收敛,得到一个不错的个性化模型。Per-FedAvg借鉴了这一思想,设计了一个新的优化函数,该优化函数是所有客户端元函数的平均,而客户端元函数则是本地损失函数进行一步梯度下降后得到的。对新的优化函数进行优化后,我们得到的初...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
与FedPer不同,Per-FedAvg的目的是获得一个初始模型,然后使用该初始模型在各个客户端的数据上进行少数几轮训练就可以得到一个较好的本地模型。通过这种方式,虽然初始模型是在所有用户上以分布式方式导出的,但每个用户的最终模型都与其他客户端的模型不同,这一点与FedPer一致。 2 Per-FedAvg 2.1 初始模型 我们假设所...
然而,我们的主要重点是关于这个公式的理论评估,其中我们描述了Per-FedAvg的收敛性,以及该算法的参数对其性能的作用。 使用元学习和多任务学习来实现个性化并不限于MAML框架,还考虑了一个训练单个全局模型和局部模型的框架,为每个用户提供个性化的解决方案;以及另一论文作者提出了一种自适应联邦学习算法,该算法学习局部和...
作者研究了FedAvg算法的一个个性化变体,称为Per-FedAvg,旨在解决所提出的个性化FL问题。特别地,我们描述了不同用户的数据异质性和数据分布的紧密性,通过分布距离测量,如Total Variation或1-Wasserstein,对Per-FedAvg收敛的作用。 ▊相关工作 在这项工作中,作者更关注MAML方法对FL设置的收敛,这更具有挑战性,因为节点在...
Per-FedAvg的原理请见:arXiv | Per-FedAvg:一种联邦元学习方法。 II. 数据介绍 联邦学习中存在多个客户端,每个客户端都有自己的数据集,这个数据集他们是不愿意共享的。 数据集为某城市十个地区的风电功率,我们假设这10个地区的电力部门不愿意共享自己的数据,但是他们又想得到一个由所有数据统一训练得到的全局模...
Per-FedAvg的原理请见: Cyril-KI:arXiv | Per-FedAvg:一种联邦元学习方法12 赞同 · 10 评论文章 II. 数据集介绍 联邦学习中存在多个客户端,每个客户端都有自己的数据集,这个数据集他们是不愿意共享的。 数据集为某城市十个地区的风电功率,我们假设这10个地区的电力部门不愿意共享自己的数据,但是他们又想得到...