在Non-IID数据上由与weight divergence造成联邦学习模型性能下降 联邦学习除了对于数据异质性表现差,也缺失了模型(对于本地任务或者数据集的)个性化。比如,通过某水果公司用过联邦学习训练了一个英语版的语音模型Siri Plus,但是其用户需要的不止是英语版,还有是中文版、法文版、韩文版等等的Siri Plus。 个性化联邦学习...
在多任务学习中,同时解决多个相关任务,使得模型可以通过联邦学习来挖掘任务之间的共性和差异。Smith等人的研究表明,多任务学习是建立个性化联邦模型的自然选择,他们在联邦设置中开发了用于多任务学习的MOCHA算法,以解决与通信、掉队和容错相关的挑战。在联邦设置中使用多任务学习的一个缺点是,由于它为每个任务生成一个模型...
2. 个性化联邦学习 2.1 解决的问题 - 在异质性强(non-IID)的数据上收敛慢,性能差。 - 模型对于本地任务或者数据集缺乏个性化。 2.2 策略 2.2.1 全局模型个性化(解决异构数据): 第一阶段,训练一个共享的全局FL模型;第二阶段,在本地的数据上进行额外的训练,达到适应个性化的目的、 方法: 1. Data-based(基...
联邦学习除了对于数据异质性表现差,也缺失了模型(对于本地任务或者数据集的)个性化。比如,通过某水果公司用过联邦学习训练了一个英语版的语音模型Siri Plus,但是其用户需要的不止是英语版,还有是中文版、法文版、韩文版等等的Siri Plus。 个性化联邦学习就是为了解决联邦学习中的: 在异质性强(non-IID)的数据上收敛...
个性化联邦学习: Personalize Federated Learning (PFL): 通过全局模型的个性化 (global model personalization),和个性化模型学习 (personalized model learning) 两种方式联邦学习变式。 PFL的四类方法 Global Model Personlization 关注在联邦学习的non-IID数据特性上,这类方法旨在提高全局模型在异构数据上的性能从而提升个...
传统的联邦优化方法是从全局角度优化,如果是FedAvg算法,就是对各个节点模型进行加权平均。 1. Federated optimization in heterogeneous networks 这篇论文提出的算法就是FedProx算法,它提到联邦学习有两大难题,数据异构和系统异构。 数据异构就是Non-IID;系统异构是不同设备通信和计算能力的差异 ...
与个性化联邦学习相关的几项挑战:(1)设备异构:存储、计算、通信;(2)数据异构:也称为统计异构;(3)模型异构:不同客户需要针对其环境特别定制的模型的情况,例如,在文本预测任务中,当输入“I live in...”时,将会根据不同用户的情况产生不同的预测结果。
1.正则化:我是一颗小蘑菇:联邦学习个性化小小小综述 详细地介绍了基于正则化的PFL技术。在优化的全局模型的过程中,同时也训练了每个数据中心本地个性化的模型参数,并且通过正则化项将两部分参数进行关联。 2.元学习:元学习和联邦学习有非常相似的数学表述形式。将FL的训练阶段视作为元学习的训练阶段,将FL模型个性化阶...