贝叶斯后验是否需要适当的分布？

21

我知道先验不一定合适，似然函数也不会积分为1。但是后验是否需要适当分配？如果是/不是，这意味着什么？

distributions bayesian posterior

— ATJ
source

15

（阅读先前的答案有点令人惊讶，前者的答案集中在后验正确时潜在的不当行为，因为据我所知，问题是后验是否必须正确（即，可整合为一个），以成为适当的后验（即贝叶斯推断可接受）。）

在贝叶斯统计，后验分布具有是一个概率分布，从中可以推导出像后平均的时刻 $\mathbb{E}^\pi[h(\theta)|x]$ 和概率陈述，例如可信区域的覆盖范围 $\mathbb{P}(\pi(\theta|x)>\kappa|x)$ 。如果将后验归一化为概率密度，并且不能简单地进行贝叶斯推断。在这种情况下，后部根本不存在。

\int f (x | θ) π (θ) d θ = + \infty, (1)

$\int f(x|\theta)\,\pi(\theta)\,\text{d}\theta = +\infty\,,\qquad (1)$

π (θ | x)

$\pi(\theta|x)$

实际上，（1）必须对样本空间中的所有都适用，而不仅要对所观察的适用，否则，选择先验将取决于数据。这意味着不能使用像Haldane的先验的先验，因为二项式或负二项式变量的概率为，因为未为定义后验。 $x$ $x$ $\pi(p)\propto \{1/p(1-p)\}$ $p$ $X$ $x=0$

我知道有一个例外，可以考虑“不适当的后人”：David van Dyk和孟小立在“数据增强的艺术”中可以找到它。不适当的措施是在所谓的工作参数 ，使得观测由边缘的增强分布的产生 $\alpha$ 和van Dyk和Meng在此工作参数上放置了不适当的先验，以加快MCMC对的模拟（仍然明确定义为概率密度）。

f (x | θ) = \int_{T (x^{aug}) = x} f (x^{aug} | θ, α) d x^{aug}

$f(x|\theta)=\int_{T(x^\text{aug})=x} f(x^\text{aug}|\theta,\alpha)\,\text{d}x^\text{aug}$

p (α)

$p(\alpha)$

α

$\alpha$

π (θ | x)

$\pi(\theta|x)$

从另一个角度来看，与eretmochelys的回答有些相关，即贝叶斯决策理论的观点，如果（1）发生的设置能够导致最佳决策，那么仍然可以接受。即，如果是一个损失函数评估使用决定的影响，一个贝叶斯最优决策现有下由下式给出 $L(\delta,\theta)\ge 0$ $\delta$ $\pi$ 和所有重要的是，这个积分是不是到处（以）无限。是否（1）成立是继发的推导，即使像受理属性时（1）成立仅保证。

δ^{⋆} (x) = \arg min_{δ} \int L (δ, θ) f (x | θ) π (θ) d θ

$\delta^\star(x)=\arg\min_\delta \int L(\delta,\theta) f(x|\theta)\,\pi(\theta)\,\text{d}\theta$

δ

$\delta$

δ^{⋆} (x)

$\delta^\star(x)$

— 西安
source

19

$v$ $x$ $v$ $x$ $p(x|v)$ $v^{-0.5}$ $v$ $v^{-1.25} e^{-v}$ 。由于连续变量的古怪性质，因此出现了此问题。

— 汤姆·明卡
source

很好的例子，汤姆！

— 2014年

+1，虽然您可以扩展OP的最后一句话的答案吗？这个怪异的后验是否有意义（您可以对后验做通常的事情），还是更类似于从某些计算中获得NaN或Inf？这是否表明您的模型有问题？

— 韦恩

5

该模型没有错。从某种意义上来说，后验是有意义的，如果您收到另一个观察结果，则可以将其乘以并可能返回到适当的后验。因此，它不像NaN，所有后续操作都基于NaN。

— 汤姆·明卡2014年

8

x = 0

$x=0$

x

$x$

- 0.25, 1, x^{2}

$-0.25,1,x^2$

11

Bogus Data = {x : \int f (x ∣ θ) π (θ) d θ = \infty},

$\text{Bogus Data} = \left\{ x:\int f(x\mid \theta)\,\pi(\theta)\,d\theta = \infty \right\} \, ,$

P r (X \in Bogus Data) = \int_{Bogus Data} \int f (x ∣ θ) π (θ) d θ d x = \int_{Bogus Data} \infty d x .

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right) = \int_\text{Bogus Data} \int f(x\mid \theta)\,\pi(\theta)\,d\theta\,dx = \int_\text{Bogus Data} \infty\,dx \, .$

\infty

$\infty$

Bogus Data

$\text{Bogus Data}$

0

$0$

1

$1$

Bogus Data

$\text{Bogus Data}$

0

$0$

P r (X \in Bogus Data) = 0

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)=0$

换句话说：使后验不当的那些样本值的先验预测概率等于零。

这个故事的寓意：提防空集，它们可能会咬人，无论多么不可能。

PS正如罗伯特教授在评论中指出的那样，如果先验不当，这种推理就会失败。

— 禅
source

4

您曾经写道：“如果我们可以从一个适当的先验开始，而得到一个不合适的后验，那么我将放弃推论。”

— 汤姆·敏卡2014年

2

脸颊有点舌头，有一个隐含的量词：如果我们可以从一个适当的先验开始，然后得到一个不合适的后验，那么对于每个可能的样本值，我都会退出推断。;-)

— 禅

顺便说一下，汤姆！

— 2014年

4

P r (X \in Bogus Data)

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)$

(θ, x)

$(\theta,x)$

1

没错答案中的推理仅适用于适当的先验条件。好点子。我会加一个便条。

— 2014年

3

任何“分布”都必须求和（或积分）为1。我可以想到一些示例，其中的一个可能适用于非标准化分布，但是我曾经不满意将任何边缘化为1的东西称为“分布”。

考虑到您提到贝叶斯后验，我敢打赌，您的问题可能来自的的最优估计的分类问题 $x$ $d$

\begin{aligned} \hat{x} & = \arg max_{x} P_{X | D} (x | d) \\ = \arg max_{x} \frac{P_{D | X} (d | x) P_{X} (x)}{P_{D} (d)} \\ = \arg max_{x} P_{D | X} (d | x) P_{X} (x) \end{aligned}

$\begin{align} \hat{x} &= \arg \max_x P_{X|D}(x|d) \\ &= \arg \max_x \frac{P_{D|X}(d|x) P_X(x)}{P_D(d)} \\ &= \arg \max_x {P_{D|X}(d|x) P_X(x)} \end{align}$

where the last equality comes from the fact that $P_D$ doesn't depend on $x$ . We can then choose our $\hat{x}$ exclusively based on the value $P_{D|X}(d|x) P_X(x)$ which is proportional to our Bayesian posterior, but do not confuse it for a probability!

— eretmochelys
source

@Zen would you mind being more explicit about what you think is wrong (or fundamentally incomplete) about this answer?

— whuber

1

One way to interpret the OP question "does the posterior need to be a proper distribution?" is to ask if it is mathematically possible to start with a proper prior and end with an improper posterior. Minka's answer gives an explicit example in which it happens. I tried to complement it with my answer and point out that this can only happen inside a set of zero prior predictive probability.

— Zen

1

@Zen It seems to me that a closely related interpretation is "if the posterior is not proper, what information can I get from it?" This accepted answer looks like it provides useful and correct advice related to that in a special circumstance (which is clearly described). The acceptance looks to me like a signal that eretmochelys struck home with a shrewd guess about the circumstances.

— ub

-2

Improper posterior distribution only arises when you're having an improper prior distribution. The implication of this is that the asymptotic results do not hold. As an example, consider a binomial data consisting of $n$ success and 0 failures, if using $Beta(0,0)$ as the prior distribution, then the posterior will be improper. In this situation, the best is to think of a proper prior distribution to substitute your improper prior.

— omidi
source

3

This answer is incorrect. See my answer.

— Tom Minka