本文探讨跨模态检索（Cross-Modal Retrieval）领域，特别是Adversarial Cross-Modal Retrieval（ACMR）这一具有创新性的方法。ACMR在2017年ACM Multimedia会议上获得最佳论文奖，为跨模态数据的检索提供了新的思路。该方法利用对抗学习（Adversarial Learning）和三元约束（Triplet Constraint）将图像和文本映射到公共...
这是一篇关于跨模态检索(Cross-Modal Retrieval)的paper,在2017的ACM Multimedia上也是拿了Best Paper Award。文章主要利用了Adversarial Learning和Triplet Constraint将Image与Text映射到Common Subspace,这样在Subspace的representations就可以直接进行比较,方便检索等其他操作。模型本身被称为ACMR,第一次接触到Domain Adaption...
Introduction 作者提出了一个新的跨模态检索框架 Adversarial Cross-Model Retrieval (ACMR),其利用对抗学习来缩小不同模态特征的gap。下图为框架图: Proposed Method 问题定义: 每对样本的特征定义为: ,每对样本搭配一个语义标签向量 ,其中 c 为语义类的数量,如果第 i 个样本包含了语义 j,则 。数据包含三个矩阵...
因此,可以捕获不同模态之间的更准确的相关性,并且可以更有效地桥接模态差距。 与ACMR的比较:根据我们目前的最佳知识,ACMR [37]是借用对抗性学习方法进行跨模态检索的第一项工作。 但是,ACMR不是基于散列的方法。 为了与ACMR进行公平比较,我们遵循在NUS-WIDE-10kdataset中使用的ACMR.SSAH进行的实验设置,这是通过从NUS...
To address this problem, in this paper, we propose a novel semantic consistent adversarial cross-modal retrieval (SC-ACMR), which learns semantic consistent representation for different modalities under adversarial learning framework by considering the semantic similarity from intra-modality and inter-...
Cross-modal retrieval aims to search samples of one modality via queries of other modalities, which is a hot issue in the community of multimedia. However, two main challenges, i.e., heterogeneity gap and semantic interaction across different modalities,