在本文中,我们介绍了RSPrompter,这是一种用于遥感图像实例分割的prompt learning方法,利用了SAM基础模型。RSPrompter的目标是学习如何为SAM生成prompt输入,使其能够自动获取语义实例级掩码。相比之下,原始的SAM需要额外手动制作prompt,并且是一种类别无关的分割方法...
1.自动化提示生成:RSPrompter能够自动学习如何生成提示,这些提示能够指导SAM模型识别和分割图像中的不同对象,而不需要人工干预。 2.语义类别信息整合:RSPrompter在生成提示时,考虑了对象的语义类别信息,这使得模型能够生成语义上有意义的分割结果。 3.轻量级特征增强器:为了提取与提示相关的特征,RSPrompter引...
RSPrompter的目标是学习如何为SAM生成prompt输入,使其能够自动获取语义实例级掩码。相比之下,原始的SAM需要额外手动制作prompt,并且是一种类别无关的分割方法。RSPrompter的设计理念不局限于SAM模型,也可以应用于其他基础模型。基于这一理念,我们设计了两种具体的实现方案:基于预设锚点的RSPrompter-anchor和基于查询和最优...
在本文中,我们介绍了RSPrompter,这是一种用于遥感图像实例分割的提示学习方法,利用了SAM基础模型。RSPrompter的目标是学习如何为SAM生成提示输入,使其能够自动获取语义实例级掩码。相比之下,原始的SAM需要额外手动制作提示,并且是一种类别无关的分割方法。RSPrompter的设计理念不局限于SAM模型,也可以应用于其他基础模型。...
北京航空航天大学博士生陈科研,分享了他们基于 SAM 为遥感图像设计的一种自动实例分割方法:RSPrompter。分享内容为SAM模型简述、基于SAM研究实例分割的问题与挑战、SAM社区的一些解决方案、基于Prompt learning的RSPrompter和一些可能的研究方向。 PPT通过OpenMMLab的公众
SAM是基于prompt的类别无关的分割模型,为了在不增加prompter计算复杂度的情况下获得语义相关且具有区分性的特征,本文引入了一个轻量级的特征聚合模块。如下图所示,该模块学习从SAM ViT骨干网络的各种中间特征层中表示语义特征,可以递归地描述为: 锚点式Prompter ...
这使SAM能够为遥感图像产生语义上可辨别的分割结果,称之为RSPrompter。还提出了一些正在进行的衍生工具,例如分割任务,利用SAM社区的最新进展,并将其与RSpromoter的性能进行比较。从WHU构建、NWPU VHR-10和SSDD数据集,获得的大量实验结果,验证了提出的方法的有效性。方法的代码可在上公开获取https://kyanchen.github....
rsprompter语义分割数据集 论文地址 :RefineNet: Multi-Path Refinement Networks with Identity Mappings for High- Resolution Semantic Segmentation 论文代码:github链接 1. 问题提出 使用深度卷积神经网络进行图像语义分割都会遇到这样的问题:pooling和卷积步长导致feature map尺寸降低,损失了精细特征,针对这个问题...
conda create -n RSPrompter python=3.10 0.2 Activate the virtual environment conda activate RSPrompter 0.3 Install pytorch Version of 1.x is also work, but the version of 2.x is recommended. pip install torch torchvision --index-url https://download.pytorch.org/whl/cu117 ...
This is the pytorch implement of our paper "RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model" - RSPrompter/qs_run.sh at cky · Pinming/RSPrompter