在信息论中,信息熵通常用H(X)表示,对于一个离散型随机变量X,其信息熵的定义如下: H(X) = -Σ [P(x) log2P(x)] 其中,P(x)表示随机变量X取某个值x的概率,log2表示以2为底的对数运算。 信息熵的计算例题可以通过一个简单的例子来说明。假设有一个硬币,抛掷出现正面的概率为p,出现反面的概率为1-p...
定义: p(x)指的是离散型随机变量的各个情况的概率 例子: 对数的底数为2---如果单位是比特的话 条件熵(期望熵)和信息增益: 注意这个条件是(是否阴天) 信息增益则是总的熵减去条件熵