近年来,针对联邦学习Non-IID问题的研究越来越多,我们调研了最近几年的相关paper发现,目前的算法优化主要分为三个方向:数据优化、模型更新优化和模型训练优化。 2.1数据优化 基于数据的优化算法直接针对数据分布进行优化,使得client的数据分布与整体数据分布尽可能相似。具体方法如下:首先利用公开数据集或者client脱敏部分本...
所以相对于以往的机器学习模式,联邦学习加剧了建模的Non-IID问题,并且亟待解决。 三 联邦学习Non-IID问题的行业探索 《Federated Learning with Non-IID Data》论文里面针对联邦学习的Non-IID问题进行了分析与探索,并且联邦学习的FedAvg算法在联邦学习模式的Non-IID场景中与以往的机器学习的差异进行分析。 3.1 Non-IID...
本文针对联邦学习中遇到的Non-IID问题进行探讨,介绍Non-IID产生的原因,分析Non-IID对联邦学习的影响,以及调研了近年来针对该问题的解决方案,并进行分类总结。1.1背景介绍在联邦学习中,拥有不同数据集的client进行联合训练。根据本系列之前的文章《联邦学习之基本方法》可知,由于client数据集所对应的样本不同,样本所处地...
联邦学习中的Non-iid问题，简单来说，是指数据在客户端（client）上分布不一致且不满足独立同分布（Independent and identically distributed，简称iid）的情况。这在深度学习中是个挑战，因为它影响模型的训练效果。当数据满足iid条件，如同搅匀的糖水，每一滴样本都能代表整体特征，模型训练能顺利进行。然而...
这种方法可以把non-IID问题从一个bug变成一个特性,含义非常直接——即因为每个客户端都有自己的模型,客户端能够独立地参数化模型,看起来没有道理但却让non-IID变得不那么重要。例如:对每一个i,Pi(y)只支持一个标签,那么找到一个高精度的全局模型可能是非常具有挑战性的(特别是当x的信息相对不足时),但是训练一...
机器学习non iid # 实现“机器学习中的非独立同分布(Non-IID)” 在机器学习中,数据的分布通常被假设为独立同分布 (IID)。然而,现实世界中的数据往往是非独立同分布(Non-IID)的,例如在医疗、金融等行业中。这种情况下,我们需要采取不同的策略来处理这些数据。本文将指导你如何实现机器学习中的Non-IID数据,整个...
苏州景信易联申请面向 Non-IID 数据的零集中差分隐私自适应联邦学习系统专利，有效解决在非独立同分布数据环境下兼顾数据隐私保护和模型精度优化问题 金融界 2025 年 4 月 26 日消息，国家知识产权局信息显示，苏州景信易联科技有限公司;福州景信易联数据技术有限公司;福建富景信息科技有限公司申请一项名为“面向 Non...
金融界 2025 年 4 月 26 日消息,国家知识产权局信息显示,苏州景信易联科技有限公司;福州景信易联数据技术有限公司;福建富景信息科技有限公司申请一项名为“面向 Non‑IID 数据的零集中差分隐私自适应联邦学习系统”的专利,公开号 CN119862940A,申请日期为 2024 年 12 月。
什么是non-iid? 回答这个问题之前需要解释什么是iid。 独立同分布(Independent and identically distributed),维基百科中的定义是一组随机变量中每个变量的概率分布都相同,且这些随机变量互相独立。 独立同分布意味着什么? 举个简单的例子。 加了一块糖的水,搅拌均匀后,我们可以随意取少量的水做检测,检测结果能够代表这...