然而，虽然信息理论的产物非常丰富，但纯信息论的形式却没有显著的实用。理论本身太难以理解，信息理论的本质太缺乏实用性。因此，它完美地体现了香农在抽象方面的天赋。Soni 和 Goodman 写道，“香农总是有办法挖掘背后的事物。他可以透过事物的现象，挖掘出其后的本质。”当香农开始研究信息理论时，他面临着中世纪的...
信息论综合运用了微积分、概率论和统计学等诸多学科，在深度学习中，也起到了非常重要的作用：如常见的交叉熵损失函数；在最大信息增益的基础上构建决策树；在 NLP 和演讲中广泛使用的 Viterbi 算法；在机器翻译中常用的 RNN 和各种类型的模型中普遍使用的编码器和解码器等。”近日出版的《香农传》一书，全面回顾...