这个公式描述的量叫做相对熵,又叫做KL散度。KL散度的定义非常易懂,它只不过是交叉熵和熵的差而已,反映了一个分布与另一个分布的差异程度。最理想情况下,P=Q,则KL散度为0。 当然,KL散度不是一个距离指标。从公式中能够看出,DKL(P||Q)≠DKL(Q||P),这个指标并不满足交换律。 KL散度常用来描述正态分布之间...