Current best information retrieval solutions use supervised deep learning approaches, requiring large labelled training sets of queries and corresponding relevant documents, often unavailable, or their preparation is economically infeasible for most organizations. In this work, we present a new self-...
这类对比学习的方式,在nlp的任务中focus在顺序关系上,而下面的最大化互信息的方法则并不focus在顺序关系上。 Maximize Mutual Information 这种方法源于互信息-统计学的基本概念。以互信息为目标建模从而量化两个变量之间的关联关系,我们的目标是使互信息最大化。通常,这类模型的目标函数是: 其中gi是编码器,Gi是一...
原文链接:[[2101.08170] SUGAR: Subgraph Neural Network with Reinforcement Pooling and Self-Supervised Mutual Information Mechanism (arxiv.org)](https://arxiv.org/abs/2101.08170) 一、动机 判别性:现有的方法大多融合了所有的结构特征和节点属性来得到图的整体表征,忽略了更精细的子结构的语义,带来潜在的过...
Mutual Information是广义上的 Correlation Function。(当我们完全不了解系统的Dynamics 或更深入的行为时,Mutual Information 依旧能作为估算) 它量化了我们能从 Context 中得到多少 Data 的信息,称为 Data 与 Context 之间的 Mutual Information。 首先,为了最大化Mutual Information 让 Network Model Distribution Ratio ...
文中做了一些实验,像是颜色、旋转这种信息,就会大幅度的被删除;而加上一个 Nonlinar Map,这样可以大幅度地保存 Information。这跟 ReID 中一篇有名的文章 Bag of Tricks and A Strong Baseline for Deep Person Re-identification的一种架构有点相似,让不同层的 Feature 给不同的 Loss 免于 Information Loss。
Mutual Information Maximization 互信息最大化 具体定义如下: 直接最大化互信息比较麻烦,可以通过计算I(X,Y)的下限来实现,常见的做法是InfoNCE,基于噪声对比估计(NCE)来实现: 对于每对正样例通过分布 来采样生成负样本,当 时,InfoNCE可以转换成标准的交叉损失熵形式: ...
Basic Pretext Tasks on Graphs(基本代理任务) Structure Information(结构信息) 在图中提取自监督信息的第一自然选择是数据背后的固有结构. 这是因为与图像和文本不同. 在图中, 我们的数据实例是相关的(即节点链接在一起). 因此, 一个主要方向是基于未标记节点的局部结构信息, 或者它们如何与图的其余部分相关联...
SSRN does not require HR HSIs as the supervised information in training. Simulated and real hyperspectral databases are utilized to verify the performance of SSRN. 展开 关键词: HIGH resolution imaging MULTISPECTRAL imaging SUPERVISED learning
Information fusionIn recent years, graph neural networks (GNNs) have become a powerful tool for graph representation in recommendation systems. However, in real recommendation systems that often involve heterogeneous graph data, existing recommendation models find it difficult to learn accurate embedding ...
Hjelm, R. Devon et al. “Learning deep representations by mutual information estimation and maximization.” . ICLR 2019 DIM引入了global feature 还有local feature的概念。在多层网络中,最后一层的向量就是global feature,它更多的是表达全局的特征;网络的中间层就是local feature,表达的是数据的局部特征。这里...