图神经网络(Graph Neural Networks,GNNs)在建模图数据方面具有优越性,而联邦学习(Federated Learning)使得客户端能够在分布式环境中训练强大的GNN模型,而无需共享私有数据。然而,在联邦系统中存在一个核心挑战,即非独立同分布(Non-IID)问题,这个问题在现实世界的图数据中也普遍存在。 在图神经网络中,基于结构特征和节点...
在这种分布上构建分类模型被称为长尾学习(Long-tail Learning) Fig.1 现有的针对联邦学习中非独立同分布(non-IID)数据的解决方案通常在尾部类别上的表现较差,因为缺乏对全局长尾分布的考虑。全局类别分布呈现长尾特性,导致每个客户端只持有少数尾部类别的样本,这使得本地模型在尾部类别上的表现不佳。因此,由有偏见的...
Agent 是一个位于联邦学习系统之上的智能决策层,它通过观察当前系统的状态(例如设备状态、网络条件等)来选择合适的客户端设备参与下一轮联邦训练。 它并不是某个具体的客户端设备,而是一个全局管理者,负责在系统级别优化联邦学习的资源分配和性能。 与客户端的关系: Agent 的行动(Action)是选择客户端设备参与训练。...
在这项工作中,我们首先表明,对于使用高度偏斜的非IID数据训练的神经网络,联邦学习的准确性显着降低了约55%。我们进一步表明,这种精度降低可以用重量差异来解释,重量差异可以通过每个设备上各个类别的分布与人口分布之间的推土机距离(EMD)进行量化。作为解决方案,我们提出了一种策略,可通过创建在所有边缘设备之间全局共享的...
In this paper, we present an excess risk bound for federated learning on non-IID data, which measures the error between the model of federated learning and the optimal centralized model. Specifically, we present a novel error decomposition strategy, which decomposes the excess risk into three ...
Federated Learning with Non-IID Data 论文中分析了FedAvg算法在Non-IID数据时,准确率下降的原因。并提出共享5%的数据可提高准确率。 Federated Learning with Non-IID Data Abstract 联邦学习支持边缘受限的计算设备(例如移动电话和物联网设备)在保持训练本地数据的同时共享模型。用去中心化的方法训练模型保障了隐私 ...
1.1 Overcoming Forgetting in Sequential Lifelong Learning and in Federated Learning 联邦学习问题和另一个被称为终身学习的基本机器学习问题(以及相关的多任务学习)之间有着很深的相似性。在终身学习中,挑战是学习任务A,并使用相同的模型继续学习任务B,但不要“遗忘”,不要严重影响任务A的性能;或者一般来说,学习...
联邦学习(Federated Learning)学习小记 联邦学习 设计目标与框架 在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习 例如两公司要联合训练一个AI框架,但是又无法直接进行数据交换,可以使用联邦学习来建立模型。更广泛的模型就是通过众多的...
广义上来讲,Federated Learning可以看作是一种分布式机器学习的模型,然而其优化特性又与经典分布式机器学习模型截然不同,根据文献[1] 可以总结出几个特性: Non-IID( Non-independent and identically distributed ):分散各个设备端的数据集因为用户的特异性而存在较大的差异; ...
论文地址:Federated Learning with Non-IID Data 一、 Introduction 介绍 这部分内容先是介绍了FL的由来和发展,简单介绍了Fedavg算法(不了解的小伙伴需要看一下2016年谷歌那篇论文,流程比较简单),说明了一下FL通信的问题和研究,最后引出了FL的Non-IID问题,在一些特定的Non-IID数据集上Fedavg是可以收敛的,但是其他情...