其中T_{\theta} :X \times Z \to R是以\theta为参数的神经网络(例如xWz^t),将两个随机变量映射为一个常数。 至此我们还需要一种方法求出期望,我们对样本进行采样作为期望的一种估计。在采样n个样本下,互信息的估计可以表示为: 随后我们就可以采用梯度上升使互信息的估计逼近其上界,从而最大化X和Z的互信息。
互信息最大化的方法有多种,其中一种常用的方法是最大熵模型(MaxEnt Model)。最大熵模型是一种概率模型,它通过最大化模型的熵来选择最相关的特征。最大熵模型假设所有的特征都是等概率的,通过最大化模型的熵来找到最相关的特征。最大熵模型可以用于分类、回归和信息检索等任务。 除了最大熵模型,还有其他一些方法...
为了在统一框架内处理不同灰度分布情形下的阈值选择问题,提出了一种归一化互信息量最大化导向的自动阈值选择方法.该方法先采用多尺度梯度乘变换规范化输入图像,获得具有单峰长拖尾灰度分布的规范图像;然后对不同阈值对应的二值图像进行轮廓提取,获得不同的轮廓图像;最后计算规范图像和不同轮廓图像之间的归一化互信息量,...
本发明公开了一种基于互信息最大化的图表示学习方法及装置,通过最大化子图和原图之间的互信息,构建图数据信息提取网络,以便更好的提取拓扑图数据中的关键信息,避免有效信息的丢失。同时,本发明实施例采用自回归子图生成器获取子图,并通过属性卷积算子、层卷积算子和聚合卷积算子得到图表示,使最终获得的图表示可以表达图...
基于云平台的互信息最大化特征提取方法研究
该方法使用元路径对异构图中涉及到的语义关系进行建模,并利用图卷积模块和语义级别的注意力机制来捕获单个节点的局部表征.该方法通过最大化单个节点与局部子图间的互信息,有效地学习高阶节点表征.实验结果表明,该方法相比基于全局图互信息的方法,可以将数据集DBLP/IMDB上的节点分类任务的微值F1(micro-F1)提高大约3%/...
针对以上问题,本文提出一种面向不完整多视图聚类的深度互信息最大化方法。首先利用深度自编码器挖掘各视图深层次的隐含特征,并通过最大化潜在表示间的互信息来学习各视图间的一致性知识。然后,对于不完整视图中的缺失数据,利用多视图的公共潜在表示进行补全。此外,本文采用一种自步学习策略对网络进行微调,从易到难地...
本发明利用互信息最大化原理将现有单层属性网络表征学习方法扩展到多层属性网络中,在低维目标空间中获取多层属性网络的节点向量表征,节点向量之间的关系可以保留多层属性网络中节点之间的结构接近性和属性相似性,有利于多层属性网络分析任务。 二、法律状态 法律状态公告日法律状态法律状态信息 2023-07-14 发明专利申请...
采用对比学习范式,最大化相同节点在两个增强视图间的互信息,隐式地对批次效应进行校正;同时设计属性-拓扑交替去噪模块对数据进行去噪,得到更加鲁棒的细胞表示.sc... 李威 - 《南开大学》 被引量: 0发表: 2024年 基于自适应联合字典学习的脑部多模态图像融合方法 针对目前全局训练字典对于脑部医学图像的自适应性不...
结合互信息最大化的文本到图像生成方法