Wasserstein距离也被称为推土机距离(Earth Mover’s Distance,EMD),用来表示两个分布的相似程度。Wasserstein距离衡量了把数据从分布 p p p移动成”分布 q q q时所需要移动的平均距离的最小值。Wasserstein距离是2000年IJCV期刊文章《The Earth Mover’s Distance as a Metric for Image Retrieval》提出的一种直方图...
KL散度和JS散度是突变的,要么最大要么最小,Wasserstein距离却是平滑的,如果我们要用梯度下降法优化这个参数,前两者根本提供不了梯度,Wasserstein距离却可以。类似地,在高维空间中如果两个分布不重叠或者重叠部分可忽略,则KL和JS既反映不了远近,也提供不了梯度,但是Wasserstein却可以提供有意义的梯度。
先来看一下几个常用的距离和EM距离。 TV(Total Variation)距离: KL距离: JS距离: 最后就是EM距离啦 可以看到,EM距离被称为推土机距离是很形象的,将一堆土从一个分布推到另一个分布所需要的消耗就是两个分布之间的EM距离。 这是WGAN中非常非常重要的一个概念。 可以通过数学证明,相比于其他的几个距离 ...
Solution (Earthmover distance): Treat each sample set A corresponding to a “point” as a discrete probability distribution, so that each sample x∈A has probability mass px=1/|A|. The distance between A and B is the optional solution to the following linear program. Each x∈A corresponds...