论文地址:Federated Learning with Non-IID Data 一、 Introduction 介绍 这部分内容先是介绍了FL的由来和发展,简单介绍了Fedavg算法(不了解的小伙伴需要看一下2016年谷歌那篇论文,流程比较简单),说明了一下FL通信的问题和研究,最后引出了FL的Non-IID问题,在一些特定的Non-IID数据集上Fedavg是可以收敛的,但是其他情...
FedDC致力于解决non-IID问题,通过在每个客户端增加一个辅助项计算漂移度来修正本地和全局之间的权重差异 1 Introduction 数据异质的缺点是减缓收敛速度,导致模型下降到次优点 FL参数漂移分为上轮次残留的参数漂移和本轮次的梯度漂移 有的方法只是减弱梯度漂移而并没有消除它,因此会逐渐积累 大部分方法都强迫本地与全局...
【摘要】 Federated Learning with Non-IID Data IID: 独立同分布 (idependently and identically distributed, IID) ... Federated Learning with Non-IID Data IID:独立同分布 (idependently and identically distributed, IID) 论文链接 Abstract 联合学习使资源受限的边缘计算设备(例如移动电话和IoT设备)能够学习共...
我们进一步表明,这种精度降低可以用重量差异来解释,重量差异可以通过每个设备上各个类别的分布与人口分布之间的推土机距离(EMD)进行量化。作为解决方案,我们提出了一种策略,可通过创建在所有边缘设备之间全局共享的一小部分数据来改善对非IID数据的训练。实验表明,对于仅包含5%全局共享数据的CIFAR-10数据集,其准确性可以提...
Federated Learning with Non-IID Data 论文笔记 /104632718 论文通过实验验证了,在non-IID数据中,使用FedAvg算法训练的模型会使准确率降低。 从图中可以看出在non-IID使用FedAvg算法训练的模型准确率有了明显的下降,但是对于IID...因为数据分布的不同。FedAvg算法训练的模型准确率收到数据分布偏态性的影响。 研究方法...
Federated learning enables resource-constrained edge compute devices, such as mobile phones and IoT devices, to learn a shared model for prediction, while keeping the training data local. This decentralized approach to train models provides privacy, security, regulatory and economic benefits. In this ...
Non_IID造成的精确度降低的原因归于权重散度。 文章证明了训练的权重散度的差异值是由每个设备的类的分布和全局分布之间的EMD距离限定的。这个上界由学习率,本地更新步长,和梯度值共同决定。文章提出一种数据共享策略改善non-IID的平衡。 数据异构性的影响 ...
Federated Learning (FL)Internet of Things (IoT)Locality-Sensitive Hashing (LSH)non-IIDAs a promising method of central model training on decentralized device data while securing user privacy, Federated Learning (FL)is becoming popular in Internet of Things (IoT) design. However, when the data ...
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data Federated Learning (FL) has become a popular paradigm for learning from distributed data. To effectively utilize data at different devices without moving t... X Zhang,M Hong,S Dhople,... - arXiv 被引量...
《No fear of heterogeneity: Classifier calibration for federated learning with non-iid data》发表在 2021 年的机器学习顶级会议 NeurIPS 上 [1],此篇论文旨在解决联邦学习客户端数据分布异构的问题,并设计了一个简洁且优美的分类器矫正方法。此篇论文的叙事非常巧妙,通过实验观察一步一步引出创新点,并且所提方法...