表4为在non-IID设置CHEM上的FedAvg、GCFL和FedStar的结果,其中总共有七个客户端,每个客户端拥有唯一的小分子数据集。结果表明,FedStar算法从增加的局部epoch中获益更多,提高了通信效率。 为了在更大的FGL框架中测试FedStar的性能,在CHEM的non-IID设置下将客户端的数量从7增加到84,其中7个小分子数据集中的每个被拆...
图神经网络(Graph Neural Networks,GNNs)在建模图数据方面具有优越性,而联邦学习(Federated Learning)使得客户端能够在分布式环境中训练强大的GNN模型,而无需共享私有数据。然而,在联邦系统中存在一个核心挑战,即非独立同分布(Non-IID)问题,这个问题在现实世界的图数据中也普遍存在。 在图神经网络中,基于结构特征和节点...
Agent 是一个位于联邦学习系统之上的智能决策层,它通过观察当前系统的状态(例如设备状态、网络条件等)来选择合适的客户端设备参与下一轮联邦训练。 它并不是某个具体的客户端设备,而是一个全局管理者,负责在系统级别优化联邦学习的资源分配和性能。 与客户端的关系: Agent 的行动(Action)是选择客户端设备参与训练。...
在这项工作中,我们首先表明,对于使用高度偏斜的非IID数据训练的神经网络,联邦学习的准确性显着降低了约55%。我们进一步表明,这种精度降低可以用重量差异来解释,重量差异可以通过每个设备上各个类别的分布与人口分布之间的推土机距离(EMD)进行量化。作为解决方案,我们提出了一种策略,可通过创建在所有边缘设备之间全局共享的...
In this paper, we present an excess risk bound for federated learning on non-IID data, which measures the error between the model of federated learning and the optimal centralized model. Specifically, we present a novel error decomposition strategy, which decomposes the excess risk into three ...
1.1 Overcoming Forgetting in Sequential Lifelong Learning and in Federated Learning 联邦学习问题和另一个被称为终身学习的基本机器学习问题(以及相关的多任务学习)之间有着很深的相似性。在终身学习中,挑战是学习任务A,并使用相同的模型继续学习任务B,但不要“遗忘”,不要严重影响任务A的性能;或者一般来说,学习...
In recent years, federated learning (FL) is proposed to attack the challenges of learning shared models collaboratively while protecting security based on the data from cross-domain clients. However, data in the real environment is usually not independent and identically distributed (Non-IID) due ...
联邦学习(Federated Learning)学习小记 联邦学习 设计目标与框架 在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习 例如两公司要联合训练一个AI框架,但是又无法直接进行数据交换,可以使用联邦学习来建立模型。更广泛的模型就是通过众多的...
论文地址:Federated Learning with Non-IID Data 一、 Introduction 介绍 这部分内容先是介绍了FL的由来和发展,简单介绍了Fedavg算法(不了解的小伙伴需要看一下2016年谷歌那篇论文,流程比较简单),说明了一下FL通信的问题和研究,最后引出了FL的Non-IID问题,在一些特定的Non-IID数据集上Fedavg是可以收敛的,但是其他情...
Abstract FedDC致力于解决non-IID问题,通过在每个客户端增加一个辅助项计算漂移度来修正本地和全局之间的权重差异 1 Introduction 数据异质的缺点是减缓收敛速度,导致模型下降到次优点 FL参数漂移分为上轮次残留的参数漂移和本轮次的梯度漂移 有的方法只是减弱梯度漂移而并没有消除它,因此会逐渐积累 ...