原论文:<MINE: Mutual Information Neural Estimator> 这一次我将介绍一种基于神经网络的互信息估计算法:MINE。互信息是统计学习中非常重要的量,然而互信息的计算一直是一个困难的问题。传统方法通常有很多限制条件,从而不具有普适性,本文介绍的MINE可以适用于各种场合,计算简单,且基于神经网络,因此可以通过
“参数估计”,“假设检验“,等来自于统计的方法,经过一定的实践,这一条路——希望通过样本估计出分布,再通过分布来获取互信息,是一条不归路。 通过查阅资料,最终找到了一个有神经网络背景的估计方法——MINE,利用神经网络来分析神经网络,套娃了属于是。 MINE能够有效的最主要原因,是其放弃了我们之前通过样本估计总体...
也就是说联合分布和边缘分布的乘积之间的KL散度越大,随机变量之间的依赖程度就越大。到目前为止,互信息的估计问题就转化为了KL散度的估计问题。 二、KL散度的对偶表示 MINE中应用的关键技术是KL散度的对偶表示,主要采用Donsker-Varadhan表示,同时也对比了f-divergence表示,两种方法分别记作MINE和MINE-f。 f-divergence...
到目前为止,互信息的估计问题就转化为了KL散度的估计问题。 二、KL散度的对偶表示 MINE中应用的关键技术是KL散度的对偶表示,主要采用Donsker-Varadhan表示,同时也对比了f-divergence表示,两种方法分别记作MINE和MINE-f。 f-divergence表示 定义 f-divergence的定义如下: f-divergence衡量分布 和 之间的差异程度,满足在...
这个目标是基于互信息(mutual information)的,而不是以往常用的随机游走(random walks)。2. 互信息的可估计性- 最近,通过互信息神经估计(Mutual Information Neural Estimation,MINE)使得互信息的可扩展估计变得既可能又实用。MINE是由Belghazi等人在2018年提出的,它依赖于训练一个统计网络,这个网络作为一个分类器,对...