对于偶尔的带有随机性质的现象,通常可以认为是服从某一概率分布的随机变量的一些实现值。如果已知(或假设)真正的概率分布,从而估计模型的好坏,就需要一个度量,这就是库尔贝克-莱布勒(Kullback-Leibler)信息量,即K-L信息量。它包括离散型分布的K-L信息量和连续型分布的K-L信息量。