Class-Aware Gradient Compensation Loss: 具体思想可以参考作者的另一篇文章:Addressing Class Imbalance in Federated Learning (AAAI 2021),具体来说就是对loss进行re-weight,当某个类别数量较少时(new/old),给其loss赋予一个更大的权值,从而解决client本地数据集中新旧样本不平衡的问题。 Class-Semantic Relation D...
Few-shot Class-Incremental Learning Base Session:基本的FSCIL的设定。D0={(xi,yi)}i=1n0是有大量实例的训练集。Dt0={(xj,yj)}j=1m0是测试集合。称为base task。是base task的标签空间。标号为 t 代表第 t 个session。 模型能够分成embedding和线性分类器:f(x)=W⊤ϕ(x)。...
其中, joint learning(oracle) 指使用所有base类进行训练();“fc-only”是在分类器部分只用了全连接层,设置这组实验的目的是为了保证本方法的参数与其他对比方法的参数量接近。(奇怪?)Table 2 为有多个含新类阶段的结果(800base+novel)4.2 Fusion策略的对比实验(无overlap)下表中的标识为:...
LwF（Learning without Forgetting）是增量学习领域的早期文章，其核心要点包括利用额外内存保存旧模型，用于新任务训练时提供旧类监督信息。iCaRL（Incremental Classifier and Representation Learning）被视为类增量学习方向的基石，采用创建示例集存储典型旧类样本，结合知识蒸馏提供旧类监督信息。BiC（Bias Correc...
将class incremental learning转化为task incremental learning,每个task相当于为每个标签y学一个类别条件生成模型。 Method 作者使用VAE作为每个类别要学习的生成式分类器,通过重要性采样估计似然p(x|y)p(x|y),使用均匀分布建模p(y)p(y)。 VAE包含一个encoderqϕqϕ,将输入变为隐空间的后验分布qϕ(z|x)...
1.2 Domain Incremental Learning (Domain-incremental) 域增量学习,又称为领域增量学习,是指学习器在面对一系列任务时,每个任务的数据输入分布(domain)可能不同,但任务的类别集合保持一致。这种学习模式模拟了现实世界中数据分布随时间变化的情况。领域增量学习的挑战在于如何适应新数据分布的同时,保持对旧数据的识别能力...
topology preserving class-incremental learning 什么是拓扑保持类增量学习(topology preserving class incremental learning)? 拓扑保持类增量学习是一种机器学习方法,旨在解决在现有分类模型中增加新的类别时出现的问题。通常情况下,当我们需要将新的类别添加到已经训练好的模型中时,传统的机器学习模型需要重新进行训练,这...
Federated Class Incremental Learning(联邦类增量学习)是一种在联邦学习架构下的多中心协作方法。其主要思想是通过共享中间模型而不是训练数据来绕过数据隐私的限制,从而促进多中心协作开发深度学习算法。 联邦学习(FL)的训练是基于去中心化用户的隐私数据。在实际情况中,联邦学习的训练和部署都处于动态变化的环境中,会有...
Class-incremental Learning via Deep Model Consolidation 翻译 Abstract 深度神经网络(DNNs)在增量学习(IL)过程中经常遭受“灾难性遗忘”——当训练目标适应于新添加的一组类时,原始类的性能会突然下降。 现有的IL方法倾向于产生一个偏向于旧类或新类的模型,除非借助旧数据的范例。 为了解决这个问题,我们提出了一种...
核心思想 本文提出一种用于解决小样本类别增量学习(few-shot class-incremental learning, FSCIL)的算法(TOPIC)。首先解释一下什么是小样本类别增量学习,模型首先在一个大规模的基础数据集D(1)D^{(1)}D(1)上进行训练,然后会不断增加新的数据集D(t),t>1D^{(t)}, t>1D(t),t>1,且数据... ...