玻尔兹曼、吉布斯关于熵 玻尔兹曼、吉布斯关于熵 鉴于玻尔兹曼以概率的对数来定义熵，按吉布斯的第⼀种定义(涉及正则系综)，熵是带有负号的概率对数的平均值。在不可逆过程中，按照吉布斯，概率的平均对数是减少的，⽽按照玻尔⿎曼，概率的对数是增加的。然⽽，这⼀⽭盾仅仅是表观的，当⼈们考虑到两⼈...
但如果每个字符出现的概率都相同,香农的公式就会简化,并且与玻尔兹曼的熵公式完全一致。据说,物理学家约翰·冯·诺伊曼(John von Neumann)曾建议香农将他的这个量称为“熵”,一方面是因为它与玻尔兹曼的公式非常接近,另一方面是因为“没有人真正知道熵到底是什么,所以在辩论中你总是会占据优势”。 因此我们称这个概念...