论文地址:Federated Learning with Non-IID Data 一、 Introduction 介绍 这部分内容先是介绍了FL的由来和发展,简单介绍了Fedavg算法(不了解的小伙伴需要看一下2016年谷歌那篇论文,流程比较简单),说明了一下FL通信的问题和研究,最后引出了FL的Non-IID问题,在一些特定的Non-IID数据集上Fedavg是可以收敛的,但是其他情...
《Achieving linear speedup with partial worker participation in non-iid federated learning》 这些方法与我们的方法是兼容的,可以很容易地集成到我们的方法中。 然而,Zhao等[32]的理论表明,参数偏差会累积,导致次优解。 Local Drift in Federated Learning fedavg的目标函数: (1)w∗=argminwL(w)=∑i=1N...
Zhao, Y., Li, M., Lai, L., Suda, N., Civin, D., Chandra, V.: Federated learning with Non-IID data. arXiv abs/1806.00582 (2018) Google Scholar Zhu, H., Jin, Y.: Multi-objective evolutionary federated learning. IEEE Trans. Neural Netw. Learn. Syst. 31(4), 1310–1322 (2020...
我们首先显示出,对于高度偏斜的非IID数据进行训练的神经网络(每个客户端设备仅在单个数据类别上进行训练),联邦学习的准确性显着降低了约55%。我们进一步表明,这种精度降低可以用重量差异来解释,重量差异可以通过每个设备上各个类别的分布与人口分布之间的推土机距离(EMD)进行量化。作为解决方案,我们提出了一种策略,可通过...
Federated Learning with Non-IID Data 2 Jun 2018 · Yue Zhao, Meng Li, Liangzhen Lai, Naveen Suda, Damon Civin, Vikas Chandra · Edit social preview Federated learning enables resource-constrained edge compute devices, such as mobile phones and IoT devices, to learn a shared model for ...
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data Federated Learning (FL) has become a popular paradigm for learning from distributed data. To effectively utilize data at different devices without moving t... X Zhang,M Hong,S Dhople,... - arXiv 被引量...
Federated Learning with Non-IID Data 论文笔记 /104632718 论文通过实验验证了,在non-IID数据中,使用FedAvg算法训练的模型会使准确率降低。 从图中可以看出在non-IID使用FedAvg算法训练的模型准确率有了明显的下降,但是对于IID...因为数据分布的不同。FedAvg算法训练的模型准确率收到数据分布偏态性的影响。 研究方法...
Agent 的行动(Action)是选择客户端设备参与训练。选择的结果会发送到联邦服务器,服务器据此协调设备的实际训练。 客户端设备在这一流程中是被动的,它们执行服务器的指令进行模型训练,而不直接与智能体交互。 智能体的核心任务: 优化客户端选择: 在联邦学习中,并非所有客户端设备都适合参与每一轮训练(例如,可能有设备...
3 Local Drift in Federated Learning FedAVG忽略了本地与全局之间的偏移,Fig1展示了用FedAVG加权相加的权重的性能明显比不过中心化训练的权重的性能 4 Proposed Method 简而言之作者的方法是让每个客户端在下降到最低点的同时计算与中央权重之间的差异,然后利用这些差异在聚合时修正偏差 ...
Knowledge-Aware Federated Active Learning with Non-IID DataAbstract联合学习使多个分散的客户端能够在不共享本地训练数据的情况下进行协作学习。然而,在本地客户端上获取数据标签的昂贵注释成本仍然是利用本…