信息论在应用数据科学中的应用

今天，我翻阅了詹姆斯·斯通（James Stone）的《信息理论：教程简介》一书，并思考了一两个片刻，以探讨信息理论在应用 数据科学中的应用程度（如果您不满意这个仍然有些模糊的术语，想想数据分析，这是恕我直言数据科学的荣耀版）。我很清楚的显著使用的信息理论为基础的途径，方法和措施，特别是熵，引擎盖下的各种统计技术和数据分析方法。

但是，我对应用社会科学家成功选择和应用这些概念，方法和工具所需要的知识的程度/水平感到好奇，而不必深入理论的数学渊源。我期待您的回答，这些回答可能会在上述书籍（或其他类似书籍-随时推荐）或总体上解决我的关注。

我还要感谢一些针对印刷或在线资源的建议，这些建议在（与之相比）其他（更多）传统统计方法（常客和贝叶斯方法）的背景下讨论信息理论及其概念，方法，方法和措施。

那么问题的第一部分是：数据科学家需要了解信息理论吗？我以为直到最近都没有答案。我改变主意的原因是关键因素之一：噪音。

许多机器学习模型（无论是随机模型还是非随机模型）都将噪声用作其编码和转换过程的一部分，在许多此类模型中，您需要推断出噪声在对模型的转换后的输出进行解码后会影响的概率。我认为这是信息论的核心部分。不仅如此，在深度学习中，KL散度是一个非常重要的度量，它也来自信息论。

问题的第二部分：我认为最好的资料来源是David MacKay的信息论，推理和学习算法。他从信息理论入手，将这些思想应用于推理甚至神经网络。Pdf在Dave的网站上是免费的，并且在线讲座是很棒的