个性化联邦学习就是为了解决联邦学习中的: 在异质性强(non-IID)的数据上收敛慢,性能差。 模型对于本地任务或者数据集缺乏个性化。 个性化联邦学习解决了联邦学习对于non-IID性能的下降。包含(1)全局模型个性化;(2)学习个性化模型 2. 个性化联邦学习分类 “Towards Personalized Federated Learning”一文将个性化联邦学习(...
机器学习,联邦学习,个性化联邦学习 2.3 全局模型个性化 全局模型个性化目标是解决FL在non-IID数据上训练的难点。包含(i)基于数据的方法和(ii)基于模型的方法 2.3.1 基于数据 由于对异构数据的联合训练引起的客户端漂移问题,基于数据的方法旨在减少客户端数据分布的统计异质性。这有助于提高全局FL模型的泛化性能。简而...
“Towards Personalized Federated Learning”一文将个性化联邦学习(PFL)分为两类: 1.全局模型个性化(Global Model Personalization):第一阶段,训练一个共享的全局FL模型;第二阶段,在本地的数据上进行额外的训练,达到适应个性化的目的。在这一类模型中,关注与第一阶段全局FL模型在non-IID数据上的训练能力。 2.学习个性...
原FL目标:训练一个全局模型,能在所有的设备上都表现好。 1)难实现:FL存有数据异构性(non-IID)使得算法的收敛性不好。 2)需求难满足:每个设备要求各异,需要为每个模型定制个性化的模型。 个性化联邦学习: Personalize Federated Learning (PFL): 通过全局模型的个性化 (global model personalization),和个性化模型学...
本节将综述车联网联邦学习的技术背景、数据异质性问题的挑战,以及如何通过个性化方法解决这些挑战的现有工作。我们将探讨不同车辆数据源的特征,分析数据异质性对联邦学习的影响,并讨论定制化的联邦学习策略如何适应不同的数据源,提高学习效率和数据保护水平。通过本节的内容,读者可以对车联网联邦学习中的数据异质性问题以及...
联邦学习通常为所有客户端生成一个全局共享模型,但由于数据在设备间的非IID分布,统计上的异质性经常导致这样的情况:对于一些客户来说,仅根据其私有数据训练的本地模型比全局共享模型表现更好。目前已经提出了一些技术来个性化全局模型,以便更好地为个人客户工作,本文调查了最近关于这一主题的研究。
与个性化联邦学习相关的几项挑战:(1)设备异构:存储、计算、通信;(2)数据异构:也称为统计异构;(3)模型异构:不同客户需要针对其环境特别定制的模型的情况,例如,在文本预测任务中,当输入“I live in...”时,将会根据不同用户的情况产生不同的预测结果。
首先是最近参考的联邦个性化的paper list,没有全部读完,这一系列的个性化方法大概找了这些论文。本文主要介绍标红的三篇。 Federated multi-task learning Federated optimization in heterogeneous networks Federated Learning of a Mixture of Global and Local Models ...
在这种情况下,个性化联邦学习应运而生。所谓个性化,是指对全局共享模型进行改进,改进后的模型相比于全局模型和本地模型,可能更适合客户端。 本文主要总结了七种个性化技术:添加用户上下文、迁移学习、多任务学习、元学习、知识蒸馏、基础+个性化层、全局模型和本地模型混合。其中有一些技术后期会有专门的论文解读来对其...
1.正则化:我是一颗小蘑菇:联邦学习个性化小小小综述 详细地介绍了基于正则化的PFL技术。在优化的全局模型的过程中,同时也训练了每个数据中心本地个性化的模型参数,并且通过正则化项将两部分参数进行关联。 2.元学习:元学习和联邦学习有非常相似的数学表述形式。将FL的训练阶段视作为元学习的训练阶段,将FL模型个性化阶...