2.1 Federated Learning 现有处理non-IID问题的方法分为提升本地训练效果和提升聚合效果,本文是前一种,因为对比损失函数在本地计算 其他研究方向有个性化联邦学习,尝试为每个客户端学习一个模型,本文属于经典联邦学习,学习单个全局最佳模型 2.2 Contrastive Learning 对比学习的核心原理是拉近相同样本的表征让模型学习到更好...
model-contrastive federated learning 对比联邦学习(Contrastive Federated Learning)是基于联邦学习(Federated Learning)的一种机器学习技术,它受到了联合训练(Joint Training)的启发,通过在客户机训练数据集上进行联合训练,在客户机和服务器端应用搭配特征(Contrasting Features)以及对抗损失(Contrastive Loss)以提高模型的精度...
论文信息 论文标题:Federated Learning from Pre-Trained Models: A Contrastive Learning Approach论文作者:Yue Tan, Guodong Long, Jie Ma, Lu Liu, Tianyi Zhou, Jing Jia
一、Motivation 联邦学习的关键挑战是客户端之间数据的异质性(Non-IID),尽管已有很多方法(例如FedProx,SCAFFOLD)来解决这个问题,但是他们在图像数据集上的效果欠佳(见实验Table1)。 传统的对比学习是data-level的,本文改进了FedAvg的本地模型训练阶段,提出了model-level的联邦对比学习(Model-Contrastive Federated Learning...
model-contrastive federated learning解决思路 Model-Contrastive FederatedLearning解决思路是将用户在本地模型训练的参数作为主要特征,利用相典技术实现“跨用户”的参数更新训练。在每轮训练中,系统将所有的用户的模型参数从位置服务器拉取,然后计算出该模型的输入和输出,以及其在模型参数训练表中计算出的模型变化。之后...
《Communication-Efficient Learning of Deep Networks from Decentralized Data》 Federated Averaging Algorithm(FedAVG) 联邦优化(Federated Optimization) 联邦优化:隐含在联邦学习中的优化问题 关键属性: 1、用户数据非独立同分布 2、用户数据量不平衡 3、用户分布规模非常大 ...
【摘要】 摘要 联邦学习使多方能够在不交流本地数据的情况下协作训练机器学习模型。 联邦学习的一个关键挑战是处理各方本地数据分布的异质性。 尽管已经提出了许多研究来应对这一挑战,但我们发现它们无法在具有深度学习模型... 摘要 联邦学习使多方能够在不交流本地数据的情况下协作训练机器学习模型。 联邦学习的一个...
However, federated learning suffers from a nonindependent homogeneous distribution of user data, which can lead to a user-side learned job representation with its own bias. Therefore, we introduce the idea of contrastive learning to guide user-side training to alleviate user-side bias and improve ...
Computer Science - Machine LearningA label-efficient paradigm in computer vision is based on self-supervised contrastive pre-training on unlabeled data followed by fine-tuning with a small number of labels. Making practical use of a federated computing environment in the clinical domain and learning ...
Contrastive learning is widely used for recommendation model learning, where selecting representative and informative negative samples is critical. Existing methods usually focus on centralized data, where abundant and high-quality negative samples are easy to obtain. However, centralized user data storage ...