本文针对联邦学习中遇到的Non-IID问题进行探讨,介绍Non-IID产生的原因,分析Non-IID对联邦学习的影响,以及调研了近年来针对该问题的解决方案,并进行分类总结。1.1背景介绍在联邦学习中,拥有不同数据集的client进行联合训练。根据本系列之前的文章《联邦学习之基本方法》可知,由于client数据集所对应的样本不同,样本所处地...
近年来,针对联邦学习Non-IID问题的研究越来越多,我们调研了最近几年的相关paper发现,目前的算法优化主要分为三个方向:数据优化、模型更新优化和模型训练优化。 2.1数据优化 基于数据的优化算法直接针对数据分布进行优化,使得client的数据分布与整体数据分布尽可能相似。具体方法如下:首先利用公开数据集或者client脱敏部分本...
所以相对于以往的机器学习模式,联邦学习加剧了建模的Non-IID问题,并且亟待解决。 三 联邦学习Non-IID问题的行业探索 《Federated Learning with Non-IID Data》论文里面针对联邦学习的Non-IID问题进行了分析与探索,并且联邦学习的FedAvg算法在联邦学习模式的Non-IID场景中与以往的机器学习的差异进行分析。 3.1 Non-IID...
联邦学习中的Non-iid问题，简单来说，是指数据在客户端（client）上分布不一致且不满足独立同分布（Independent and identically distributed，简称iid）的情况。这在深度学习中是个挑战，因为它影响模型的训练效果。当数据满足iid条件，如同搅匀的糖水，每一滴样本都能代表整体特征，模型训练能顺利进行。然而...
# 实现“机器学习中的非独立同分布(Non-IID)” 在机器学习中,数据的分布通常被假设为独立同分布 (IID)。然而,现实世界中的数据往往是非独立同分布(Non-IID)的,例如在医疗、金融等行业中。这种情况下,我们需要采取不同的策略来处理这些数据。本文将指导你如何实现机器学习中的Non-IID数据,整个流程分为以下几个步...
这种方法可以把non-IID问题从一个bug变成一个特性,含义非常直接——即因为每个客户端都有自己的模型,客户端能够独立地参数化模型,看起来没有道理但却让non-IID变得不那么重要。例如:对每一个i,Pi(y)只支持一个标签,那么找到一个高精度的全局模型可能是非常具有挑战性的(特别是当x的信息相对不足时),但是训练一...
FedBN已经在医学健康,自动驾驶等领域被证明是很有效的策略,这些场景的数据的特点是,不同方的本地数据由于存在feature shift导致的non-iid。关于数据安全性,BN层的数据对于整个交互和聚合是不可见的(Invasible),所以一定程度上增加了对本地数据攻击的困难。
什么是non-iid? 回答这个问题之前需要解释什么是iid。 独立同分布(Independent and identically distributed),维基百科中的定义是一组随机变量中每个变量的概率分布都相同,且这些随机变量互相独立。 独立同分布意味着什么? 举个简单的例子。 加了一块糖的水,搅拌均匀后,我们可以随意取少量的水做检测,检测结果能够代表这...
话题一、BATCH NORMALIZATION及其解决Non-iid问题的方法 1. BATCH NORMALIZATION BATCH NORMALIZATION是在明文机器学习中比较常用且效果较好的一种方法,它可以很好的解决feature scaling的问题,包括层与层之间internal Covariate Shift 的问题。 那么什么是feature shift呢,我们来举个例子 ...
深度学习中non iid数据问题如何解决 深度cnn模型 CNN是经典的深度学习神经网络。从LeNet-5中涉及到的算子开始,尝试将CNN网络分解来看,在具体分析针对性的网络结构前,有助于我们见微知著,更直观地把握住模型演化的规律。 因为经典网络LeNet-5涵盖的是卷积神经网络中最基本的卷积层、激活层、池化层和全连接层,故...