互信息其实就是信息熵与条件熵之差(也就是知道其中一个,另一个不确定度减少的程度): I(x,y)=H(Y)−H(Y|X)=H(X)−H(X|Y) 6. 相对熵 相对熵也叫做KL散度,表示对于同一个随机变量有两个概率分布P(X) 和Q(X), 衡量这两个分布的相似程度. DKL(p||q)=∑i=1np(xi)∗log(p(xi)q(xi...
熵是信息论中的重要概念,它是对不确定性的度量,熵越大,不确定性越大。由此衍生出了条件熵、相对熵、交叉熵、互信息等概念,理解这些概念对于理解机器学习中的模型有很大的帮助,本文将对这些概念进行简单的介绍。 导航 信息熵 联合熵 条件熵 互信息 交叉熵 ...