为什么贝叶斯后验集中在KL散度的最小值上？

考虑贝叶斯后验。渐近地，其最大值出现在MLE估计，这恰好使似然性 argmin最大化。$\theta\mid X$$\hat \theta$$\operatorname{argmin}_\theta\, f_\theta(X)$

所有这些概念（贝叶斯先验，使可能性最大化）听起来都是超级原则，一点也不随意。看不到日志。

然而，MLE最小化了实分布和之间的KL散度，即，它最小化了$\tilde f$$f_\theta(x)$

$$KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx$$

哇，这些日志是从哪里来的？为什么特别是KL分歧？

例如，为什么最小化不同的差异与贝叶斯后验的超原则性和积极性概念不相符，而使上述可能性最大化呢？

在这种情况下，KL散度和/或对数似乎有一些特殊之处。当然，我们可以举手示意这就是数学。但是我怀疑可能会有更深刻的直觉或发现的联系。

对数在这种计算中的使用来自信息论。在KL散度的特定情况下，该度量可以解释为两种分布的相对信息：

$$\begin{equation} \begin{aligned} KL(\tilde{f} \parallel f_\theta) &= \int \limits_{-\infty}^\infty \tilde{f}(x) (\log \tilde{f}(x) - \log f_\theta (x)) \ dx \\[6pt] &= \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log f_\theta(x) \ dx}_{H(\tilde{f}, f_\theta)} \Bigg) - \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log \tilde{f}(x) \ dx}_{H(\tilde{f})} \Bigg), \\[6pt] \end{aligned} \end{equation}$$

其中是熵的和是的交叉熵和。熵可以看作是由密度产生的平均速率的度量（认为交叉熵要复杂一些）。最小化固定值的KL散度（如您提到的问题）等同于最小化交叉熵，因此可以为这种优化提供信息理论的解释。$H(\tilde{f})$$\tilde{f}$$H(\tilde{f}, f_\theta)$$\tilde{f}$$f_\theta$$\tilde{f}$

我不可能在短时间内很好地介绍信息理论和信息度量的属性。但是，我建议您查看一下该领域，因为它与统计信息密切相关。许多涉及密度对数的积分和之和的统计度量是度量理论中使用的标准信息度量的简单组合，在这种情况下，可以根据各种密度等方面的基本信息水平对它们进行解释。