Introduction 作者提出了一个新的跨模态检索框架 Adversarial Cross-Model Retrieval (ACMR),其利用对抗学习来缩小不同模态特征的gap。下图为框架图: Proposed Method 问题定义: 每对样本的特征定义为: ,每对样本搭配一个语义标签向量 ,其中 c 为语义类的数量,如果第 i 个样本包含了语义 j,则 。数据包含三个矩阵...
模型在四个数据集上面做了详细的对比实验,总的来说证明了ACMR的优越性,对于前面提到的Modality-invariant,Cross-Modal similarity以及Cross-Modal similarity都做的非常好,效果也是非常impressive(不过这里我发现发paper还是要trick,到底是以绝对值还是相对值展现效果的提升? :-P)贴下在Wikipedia dataset上面的结果吧 可以...
本文探讨跨模态检索（Cross-Modal Retrieval）领域，特别是Adversarial Cross-Modal Retrieval（ACMR）这一具有创新性的方法。ACMR在2017年ACM Multimedia会议上获得最佳论文奖，为跨模态数据的检索提供了新的思路。该方法利用对抗学习（Adversarial Learning）和三元约束（Triplet Constraint）将图像和文本映射到公共...
To address this problem, in this paper, we propose a novel semantic consistent adversarial cross-modal retrieval (SC-ACMR), which learns semantic consistent representation for different modalities under adversarial learning framework by considering the semantic similarity from intra-modality and inter-...
Cross-modal retrieval aims to correlate multimedia data by bridging the heterogeneity gap. Most cross-modal retrieval approaches learn a common subspace to
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval译文 用于跨模式检索的自监督对抗哈希网络 摘要 由于深入学习的成功,跨模式检索最近取得了显著的进展。然而,仍然存在着一个关键的瓶颈:如何弥合情态差异,进一步提高检索的准确性。在本文中,我们提出了一种自我监督的对抗性散列(SSAH)方法,它是早期...