这是一篇关于跨模态检索(Cross-Modal Retrieval)的paper,在2017的ACM Multimedia上也是拿了Best Paper Award。文章主要利用了Adversarial Learning和Triplet Constraint将Image与Text映射到Common Subspace,这样在Subspace的representations就可以直接进行比较,方便检索等其他操作。模型本身被称为ACMR,第一次接触到Domain Adaption...
Introduction 作者提出了一个新的跨模态检索框架 Adversarial Cross-Model Retrieval (ACMR),其利用对抗学习来缩小不同模态特征的gap。下图为框架图: Proposed Method 问题定义: 每对样本的特征定义为: ,每对样本搭配一个语义标签向量 ,其中 c 为语义类的数量,如果第 i 个样本包含了语义 j,则 。数据包含三个矩阵...
本文探讨跨模态检索（Cross-Modal Retrieval）领域，特别是Adversarial Cross-Modal Retrieval（ACMR）这一具有创新性的方法。ACMR在2017年ACM Multimedia会议上获得最佳论文奖，为跨模态数据的检索提供了新的思路。该方法利用对抗学习（Adversarial Learning）和三元约束（Triplet Constraint）将图像和文本映射到公共...
论文地址: https://www.researchgate.net/publication/320541510_Adversarial_Cross-Modal_Retrievalwww.researchgate.net 来源:ACM Multimedia 2017 作者:电子科技大学英才实验学院2014级本科生王泊锟同学以第一作者身份发表,获ACM Multimedia 2017会议最佳论文奖... 查看原文 【论文解读 KDD 2018 | EANN】Event ...
在训练过程中,我们使B =符号(Hv + Ht + Hl)训练我们的模型以生成用于语义相似实例的类似二进制代码。如上所述,整体目标函数可以写成如下:Lgen = Lv + Lt + Ll Ladv = Lvadv + Ltadv(6)如果我们把它们放在一起,我们可以得到:( 由于参数B的离散性和由最小值损失引起的消失梯度,(7)的优化是难以处理的...
阅读笔记 Modality-specific and shared generative adversarial network for cross-modal retrieval,程序员大本营,技术文章内容聚合第一站。
Cross-modal retrieval has become a hot issue in this years. Many existing works pay attentions on correlation learning to generate a common subspace for cross-modal correlation measurement, and others uses adversarial learning technique to abate the heterogeneity of multi-modal data. However, very fe...
首先,CPAH设计了一个一致性细化模块(consistency refined module)CR,把不同模态的表示,分成两个不相关的部分——模态共同(modality common),模态私有(modality private)表示。 然后,提出一个多任务对抗性学习模块(multi-task adversarial learning module)MA.这可以使不同模态的模态公共表示(modality common representation...
Cross-modal Hashing has received a lot of attentions in the field of cross-modal retrieval due to its high retrieval efficiency and low storage cost. Most of the existing cross-modal Hashing methods learn Hash codes directly from multimod
Name Last commit message Last commit date Latest commit History 32 Commits data fig utils Framework.pdf Main.py README.md SSAH.png SSAH.py load_data.py ops.py setting.py tnet.py README SSAH Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval ...