为什么在贝叶斯定理中需要归一化因子？

20

贝叶斯定理变为

P （ 模型 | 数据 ） = \frac{P （ 模型 ） \times P （ 数据 | 模型 ）}{P （ 数据 ）}

$P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})}$

一切都很好。但是，我在某处读过：

基本上，P（data）只是归一化常数，即使后验密度积分为一个常数的常数。

我们知道和。 $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

因此，必须介于0和1之间。在这种情况下，为什么我们需要归一化常数以使后验积分到一个？ $P(\textrm{model}) \times P(\textrm{data}|\textrm{model})$

— Sreejith Ramakrishnan
source

4

当您使用概率密度时（如本文中所述），您将无法再得出结论0 <= P(model) <= 1或0 <= P(data/model) <= 1，因为其中一个（甚至两个！）都可能超过

（甚至是无限大）。参见stats.stackexchange.com/questions/4220。

1

$1$

— whuber

1

这不是的情况下

，因为这一模糊标记表示数据，而不是概率的统一似然度。

P （ 数据 | 模型 ） \leq 1个

$P(\textrm{data}|\textrm{model})\le 1$

— 西安

15

首先，“似然x先验”的积分不一定是1。

如果不是，则不正确：

和 $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

那么该产品相对于模型的积分（实际上是模型的参数）为1。

示范。想象两个离散密度：

P （ 模型 ） = [0.5 ， 0.5] （这称为“先验”） P （ 数据 模型 ） = [0.80 ， 0.2] （这称为“可能性”）

$P(\textrm{model}) = [0.5, 0.5] \text{ (this is called "prior")}\\ P(\textrm{data | model}) = [0.80, 0.2] \text{ (this is called "likelihood")}\\$

如果您乘他们两个你：，因为它没有集成到一个它是不是有效密度：

[0.40 ， 0.25]

$[0.40, 0.25]$

0.40 + 0.25 = 0.65

$0.40 + 0.25 = 0.65$

\sum_{model_params} P （ 模型 ） P （ 数据 模型 ） = \sum_{model_params} P （ 模型，数据 ） = P （ 数据 ） = 0.65

$\sum_{\text{model_params}} P(\text{model}) P(\text{data | model}) = \sum_\text{model_params} P(\text{model, data}) = P(\text{data}) = 0.65$

（很抱歉，这种可怜的表示法。我为同一件事写了三种不同的表达方式，因为您可能会在文献中看到它们）

其次，“似然性”可以是任何值，即使它是密度，也可以具有大于1的值。

正如@whuber所说，此因子不必介于0和1之间。它们需要其积分（或总和）为1。

第三，“共轭”是您的朋友，可以帮助您找到标准化常数。

P （ 模型 | 数据 ） \propto P （ 数据 | 模型 ） P （ 模型 ）

$P(\textrm{model}|\textrm{data}) \propto P(\textrm{data}|\textrm{model}) P(\text{model})$

— 阿尔贝托
source

+1。这是唯一真正解决原始问题的唯一答案，即为什么需要归一化常数才能使后验积分到一个。稍后您对后验的处理（例如，MCMC推断或计算绝对概率）是另一回事。

— Pedro Mediano

P (m o d e l) = [0.5, 0.5]

$P(model)=[0.5,0.5]$

σ^{2} = 1

$\sigma^2=1$

μ

$\mu$

P (μ) = [0.5, 0.5]

$P(\mu) = [0.5, 0.5]$

μ

$\mu$

12

对于您的问题的简短回答是，如果没有分母，则右侧的表达式仅是可能性，而不是概率，其范围只能是0到1。“归一化常数”使我们能够获得一个事件的发生，而不仅仅是与另一个事件相比的相对可能性。

— 疱疹
source

8

您已经有两个有效的答案，但让我加两分。

贝叶斯定理通常定义为：

P （ 模型 | 数据 ） \propto P （ 模型 ） \times P （ 数据 | 模型 ）

$P(\text{model}~ | ~\text{data}) \propto P(\text{model}) \times P(\text{data}~|~\text{model})$

因为您需要常数的唯一原因是使它积分为1（请参见其他人的答案）。大多数贝叶斯分析的MCMC仿真方法都不需要这样做，因此从方程式中减去了常数。因此，对于大多数模拟，甚至都不需要。

我喜欢Kruschke的描述：最后一只小狗（常数）很困，因为他与配方无关。

在此处输入图片说明

也有一些人，例如安德鲁·盖尔曼（Andrew Gelman），将常量视为“被高估了”，并且“当人们使用固定优先级时基本上毫无意义”（请查看此处的讨论）。

— 蒂姆
source

9

+1引进幼犬。“在编写此答案时，没有动物受到伤害” :)

— alberto 2014年