了解贝叶斯预测分布

9

我正在参加贝叶斯入门课程，但在理解预测分布方面有些困难。我了解它们为什么有用，并且我对定义很熟悉，但是有些事情我不太了解。

1）如何获得新观测向量的正确预测分布

假设我们已经为数据和先前的建立了一个采样模型。假设观测值在给定条件下是独立的。 $p(y_i | \theta)$ $p(\theta)$ $y_i$ $\theta$

我们已经观察到一些数据，并且将先前的更新为后验。 $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

如果我们想预测新观测值的向量，我认为我们应该尝试使用此公式获得后验预测不等于所以预测的观测值不是独立的，对不对？ $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

说 Beta（）和 Binomial（）固定为。在这种情况下，如果我想模拟6个新的，如果我理解正确，那么独立于与单个观察的后验预测相对应的Beta-Binomial分布独立地模拟6个平局将是错误的。它是否正确？我不知道该如何解释这些观察结果并不是边缘独立的，并且我不确定我是否正确理解了这一点。 $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

从后验预测模拟

很多时候，当我们从后验预测中模拟数据时，我们都会遵循以下方案：

对于从1到： $b$ $B$

1）从采样。 $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2）然后从模拟新数据。 $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

尽管它看起来很直观，但我不太知道如何证明该方案的有效性。另外，这有名字吗？我尝试查找理由，并尝试使用其他名称，但是我没有运气。

谢谢！

bayesian prediction

— 弗雷德·L。
source

我在stats.stackexchange.com/questions/72570/上问了类似的问题，但是到目前为止，您的选票似乎获得了更多的票数。

— 约翰

4

假设给定，则是条件独立的。然后，其中第一个等式来自于总概率定律，第二个等式来自于乘积规则，第三个等价于假定的条件独立性：给定的值 $X_1,\dots,X_n,X_{n+1}$ $\Theta=\theta$

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$ ，我们不需要的值即可确定的分布。

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

模拟方案是正确的：对于，从的分布中绘制，然后绘制来自。这为您提供了一个示例 $i=1,\dots,N$ $\theta^{(i)}$ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ $\{x_{n+1}^{(i)}\}_{i=1}^N$ 从分布 $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$ 。

— 禅
source

如果您在多个时期获得后验预测该怎么办？我一直在用

θ^{(i)}

$\theta^{\left(i\right)}$ 每个

x_{n + j}

$x_{n+j}$ ，但我明白了为什么重新绘制新的theta可能有意义。

— 约翰

2

我将尝试逐步了解生成后验预测分布的直觉。

让 $y$ 是来自概率分布的观测数据的向量 $p(y|\theta)$ 然后让 $\tilde y$ 是我们要预测的未来（或样本外）值的向量。我们假设 $\tilde y$ 来自与 $y$ 。使用我们的最佳估计值可能会很诱人 $\theta$ ---例如MLE或MAP估计---以获得有关此分布的信息。但是，这样做不可避免地会忽略我们对以下方面的不确定性 $\theta$ 。因此，进行的适当方法是对 $\theta$ ，即 $p(\theta|y)$ 。还要注意 $\tilde y$ 独立于 $y$ 给定 $\theta$ ，因为它假定是从与 $y$ 。从而，

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

的后验预测分布 $\tilde y$ 因此，

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

哪里 $\Theta$ 是...的支持 $\theta$ 。

现在，我们如何从 $p(\tilde y|y)$ ？您描述的方法有时称为组合方法，其工作方式如下：

对于s = 1,2，...，S做

画 $\theta^{(s)}$ 从 $p(\theta|y)$

画 $\tilde y^{(s)}$ 从 $p(\tilde y|\theta^{(s)})$

在大多数情况下，我们已经从 $p(\theta|y)$ ，因此只需要第二步。

起作用的原因很简单：首先请注意 $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ 。因此，对参数向量进行采样 $\theta^{(s)}$ 从 $p(\theta|y)$ 然后，使用此向量进行采样 $\tilde y^{(s)}$ 从 $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ 从联合分布中得出样本 $p(\tilde y, \theta|y)$ 。因此，采样值 $\tilde y^{(s)}, s=1,2,...,S$ 是边际分布的样本， $p(\tilde y|y)$ 。

— 巴鲁姆
source

1

要解决您的第一个问题：是的，如果您不知道观测值的价值，则观察结果不是独立的 $\theta$ 。说，你观察到 $\tilde{y}_1$ 具有极高的价值。这可能表明 $\theta$ 本身是极端的，因此，您应该期望其他观察结果也是极端的。

— hr0nix
source