来自浙大的一篇文章,看模板应该是投稿CVPR,主要关注的问题是预训练模型中如何充分利用few-shot的能力,主要的方法是利用zero-shot能力和learnable prompt,使用self-ensemble 和distillation进一步增强,最终效果是1-shot在四个数据集上有3个点的平均提升。 Paper Link:https://arxiv.org/pdf/2401.05010.pdf Motivation Fe...
元训练阶段:在这个阶段,我们模仿N-Way K-Shot的设置构建了大量的少样本分类任务,并利用episodic训练方式进一步联合训练上述的特征提取器和原型补全网络。值得注意的是,在执行每一个少样本分类任务时,我们进一步提出了一种基于高斯的原型融合策略来融合基于均值的原型和上述补全的原型。利用上述融合后的原型来执行少样本分...
目标检测算法(two-stage)的典型代表是R-CNN,很多few-shot object detection算法基于R-CNN架构进一步探索,目前已经取得不错进展的方法包含:single-stage methods 和 anchor-free methods. 3. Few-Shot Object Detection(小样本目标检测) 对于Few-shot目标检测算法的探索主要分成两个方向:meta-learning(元学习) 和 tran...
GNN)由于节点与节点之间具有相关性可以实现更丰富的信息传递,在近期来涉及到的推理问题(Reasoning)或者是视觉问答(Visual Question Answering)等任务上都有不少的尝试,而少样本学习(few-shot learning)的难点通常是在于可用样本有限,所以样本之间潜在的关联性在学习过程中就变得非常重要了,...
1. Few-Shot learning(小样本学习) 目前比较流行的方法有metric learning(度量学习) 和 meta-learning(元学习),这两种方法广泛应用于避免在小样本数据上的过拟合。不过,近期的一些研究成果发现,基于预训练的主干网(pretrained backbone)进行特征提取,其性能优于之前的其它方法。不过,该最新方法的问题是在微调过程中,...
图网络(Graph Neural Network, GNN)由于节点与节点之间具有相关性可以实现更丰富的信息传递,在近期来涉及到的推理问题(Reasoning)或者是视觉问答(Visual Question Answering)等任务上都有不少的尝试,而少样本学习(few-shot learning)的难点通常是在于可用样本有限,所以样本之间潜在的关联性在学习过程中就变得非常重要了,...
小样本学习(Few-shot learning)是机器学习领域的一个重要方向,然而基于深度学习的识别算法仍然无法达到人类甚至婴儿在此类任务上的性能。我们认为这一现象主要是因为现阶段的小样本学习任务往往只考虑单一模态的训练样本,例如只用少量图像来训练一个分类器。然而,大量神经科学的研究1 2指出人脑在学习新概念的时候会利用跨...
图网络(Graph Neural Network, GNN)由于节点与节点之间具有相关性可以实现更丰富的信息传递,在近期来涉及到的推理问题(Reasoning)或者是视觉问答(Visual Question Answering)等任务上都有不少的尝试,而少样本学习(few-shot learning)的难点通常是在于可用样本有限,所以样本之间潜在的关联性在学习过程中就变得非常重要了,...
本文选择深度学习细分种类下的少样本学习(Few-Shot Learning)这个话题。近两年来我们注意到学界开始改变之前大数据好效果的模型训练方式,关注用少量的数据来达到较好的任务表现,目前此类方法还处在学界探索实验阶段,在业界运用还不算普及(由于业界产品对模型精确度有比较高的要求,且大多针对的都是特定业务细分场景),然而...
我们分别在四个流行的 Few-Shot Classification 数据集:mini-Imagenet, tiered-Imagenet, CIFAR-FS 和 FC100 上做了详尽的实验。 最终结果如表 1,2,3 所示:相比于现有的 SOTA 模型,HCTransformers 在 1-shot 和 5-shot 的结果上都显示出明显的性能优势。例如,如表 1 所示,在 miniImagnet 上,HCTransformers...