2.2. 学习个性化模型 分享一篇最近阅读的个性化联邦学习综述 ,写成blog和大家分享～ 希望能通过通俗的语言介绍个性化联邦学习的发展现状、技术分类,提供了一个high-level的技术概览,所以刻意避开了数学公式和技术细节。 标题:Towards Personalized Federated Learning 收录于:IEEE Transactions on Neural Networks and Learn...
机器学习,联邦学习,个性化联邦学习 2.3 全局模型个性化 全局模型个性化目标是解决FL在non-IID数据上训练的难点。包含(i)基于数据的方法和(ii)基于模型的方法 2.3.1 基于数据 由于对异构数据的联合训练引起的客户端漂移问题,基于数据的方法旨在减少客户端数据分布的统计异质性。这有助于提高全局FL模型的泛化性能。简而...
在多任务学习中,同时解决多个相关任务,使得模型可以通过联邦学习来挖掘任务之间的共性和差异。Smith等人的研究表明,多任务学习是建立个性化联邦模型的自然选择,他们在联邦设置中开发了用于多任务学习的MOCHA算法,以解决与通信、掉队和容错相关的挑战。在联邦设置中使用多任务学习的一个缺点是,由于它为每个任务生成一个模型...
“Towards Personalized Federated Learning”一文将个性化联邦学习(PFL)分为两类: 1.全局模型个性化(Global Model Personalization):第一阶段,训练一个共享的全局FL模型;第二阶段,在本地的数据上进行额外的训练,达到适应个性化的目的。在这一类模型中,关注与第一阶段全局FL模型在non-IID数据上的训练能力。 2.学习个性...
原始数据的不对称共享可能导致隐私和安全风险,开发基于个性化的解决方法,即针对不同数据源的特点设计特定的学习策略,对于提高联邦学习在车联网中的有效性和安全性至关重要。 本节将综述车联网联邦学习的技术背景、数据异质性问题的挑战,以及如何通过个性化方法解决这些挑战的现有工作。我们将探讨不同车辆数据源的特征,...
首先是最近参考的联邦个性化的paper list,没有全部读完,这一系列的个性化方法大概找了这些论文。本文主要介绍标红的三篇。 Federated multi-task learning Federated optimization in heterogeneous networks Federated Learning of a Mixture of Global and Local Models ...
与个性化联邦学习相关的几项挑战:(1)设备异构:存储、计算、通信;(2)数据异构:也称为统计异构;(3)模型异构:不同客户需要针对其环境特别定制的模型的情况,例如,在文本预测任务中,当输入“I live in...”时,将会根据不同用户的情况产生不同的预测结果。
在这种情况下,个性化联邦学习应运而生。所谓个性化,是指对全局共享模型进行改进,改进后的模型相比于全局模型和本地模型,可能更适合客户端。 本文主要总结了七种个性化技术:添加用户上下文、迁移学习、多任务学习、元学习、知识蒸馏、基础+个性化层、全局模型和本地模型混合。其中有一些技术后期会有专门的论文解读来对其...