目前流行的语义分割模型,虽然有着不同的网络结构,如基于全卷积的、基于Transformer的等等,但是他们都可以归结为使用可学习原型(Prototype)的模型(比如通过Softmax来学习或者Transformer中使用的向量查询方式,这些都是参数可学习的方式)。 (a)(b)为参数可学习模型,(c)为作者提出的原型不可学习的模型 作者发现了这些方式...
这个prototype对应的类别就是像素对应的类别。在网络训练过程中,可以计算每个i在c个类别上的概率分布,然后我们用交叉熵损失来进行网络的训练,但交叉熵损失的有缺陷的,只考虑了pixel和class之间的关系,没有考虑和proto之间的关系,也就是只保证了类间的分散,没有保证类内的紧凑。 接下来首先介绍在线聚类的算法,基于在...
prototype view, this study uncovers several limitations of such parametric segmentation regime, and proposes a nonparametric alternative based on non-learnable prototypes. Instead of prior methods learning a single weight/query vector for each class in a fully parametric manner, our model represents ...
semantic segmentationExisting few-shot segmentation approaches basically adopt the idea of comparing the semantic prototype vector of the query image and support images, and then obtaining the segmentation result. However, recent studies have shown that a single feature vector in feature map cannot ...