个性化联邦学习解决了联邦学习对于non-IID性能的下降。包含(1)全局模型个性化;(2)学习个性化模型 2. 个性化联邦学习分类 “Towards Personalized Federated Learning”一文将个性化联邦学习(PFL)分为两类: 全局模型个性化(Global Model Personalization):第一阶段,训练一个共享的全局FL模型;第二阶段,在本地的数据上进行额...
机器学习,联邦学习,个性化联邦学习 2.3 全局模型个性化 全局模型个性化目标是解决FL在non-IID数据上训练的难点。包含(i)基于数据的方法和(ii)基于模型的方法 2.3.1 基于数据 由于对异构数据的联合训练引起的客户端漂移问题,基于数据的方法旨在减少客户端数据分布的统计异质性。这有助于提高全局FL模型的泛化性能。简而...
“Towards Personalized Federated Learning”一文将个性化联邦学习(PFL)分为两类: 1.全局模型个性化(Global Model Personalization):第一阶段,训练一个共享的全局FL模型;第二阶段,在本地的数据上进行额外的训练,达到适应个性化的目的。在这一类模型中,关注与第一阶段全局FL模型在non-IID数据上的训练能力。 2.学习个性...
在多任务学习中,同时解决多个相关任务,使得模型可以通过联邦学习来挖掘任务之间的共性和差异。Smith等人的研究表明,多任务学习是建立个性化联邦模型的自然选择,他们在联邦设置中开发了用于多任务学习的MOCHA算法,以解决与通信、掉队和容错相关的挑战。在联邦设置中使用多任务学习的一个缺点是,由于它为每个任务生成一个模型...
个性化联邦学习: Personalize Federated Learning (PFL): 通过全局模型的个性化 (global model personalization),和个性化模型学习 (personalized model learning) 两种方式联邦学习变式。 PFL的四类方法 Global Model Personlization 关注在联邦学习的non-IID数据特性上,这类方法旨在提高全局模型在异构数据上的性能从而提升个...
与个性化联邦学习相关的几项挑战:(1)设备异构:存储、计算、通信;(2)数据异构:也称为统计异构;(3)模型异构:不同客户需要针对其环境特别定制的模型的情况,例如,在文本预测任务中,当输入“I live in...”时,将会根据不同用户的情况产生不同的预测结果。
首先是最近参考的联邦个性化的paper list,没有全部读完,这一系列的个性化方法大概找了这些论文。本文主要介绍标红的三篇。 Federated multi-task learning Federated optimization in heterogeneous networks Federated Learning of a Mixture of Global and Local Models ...
1.正则化:我是一颗小蘑菇:联邦学习个性化小小小综述 详细地介绍了基于正则化的PFL技术。在优化的全局模型的过程中,同时也训练了每个数据中心本地个性化的模型参数,并且通过正则化项将两部分参数进行关联。 2.元学习:元学习和联邦学习有非常相似的数学表述形式。将FL的训练阶段视作为元学习的训练阶段,将FL模型个性化阶...