在CVPR 2023 上,来自 Meta、UTAustin 的学者们联合提出了一种新的开放词汇分割模型 OVSeg。OVSeg 可以通过任意用户定义的词汇来理解分割图像,并且可以让 Segment Anything 模型知道所要分隔的类别。从效果上来看,OVSeg 可以与 Segment Anything 结合,完成细粒度的开放语言分割。
从效果上来看,OVSeg 可以与 Segment Anything 结合,完成细粒度的开放语言分割。 一、摘要 开放词汇语义分割旨在根据文本描述将图像分割成语义区域,这些区域在训练过程中可能没有看到。 最近的两阶段方法首先生成与类别无关的mask proposals,然后利用预训练的视觉语言模型(例如CLIP)对 masked regions 进行分类。我们认为这...
从效果上来看,OVSeg 可以与 Segment Anything 结合,完成细粒度的开放语言分割。 7月4日早10点,「AI新青年讲座」第216讲邀请到 OVSeg 一作、德克萨斯大学奥斯汀分校在读博士梁丰参与,主讲《大模型时代的图像分割——开放词汇分割模型 OVSeg》。 梁丰将从传统的二阶段开放词汇分割模型的基线出发,在理解基线方法局限的...