今天要介绍的就是其中一篇论文《Model-Contrastive Federated Learning》 一、Motivation 联邦学习的关键挑战是客户端之间数据的异质性(Non-IID),尽管已有很多方法(例如FedProx,SCAFFOLD)来解决这个问题,但是他们在图像数据集上的效果欠佳(见实验Table1)。 传统的对比学习是data-level的,本文改进了FedAvg的本地模型训练阶段...
基于这个发现, 本文提出了MOON(Model-Contrastive Federated Learning),通过比较同一数据在不同模型上产生的特征来矫正本地训练的更新方向。 3 方法 在本地训练过程中,MOON通过引入模型对比损失(model-contrastive loss)来矫正更新方向。 由于服务器端生成的全局模型能比本地更新的模型产生更好的特征,模型对比损失目标是...