贝叶斯环境中先验的“健忘”？

众所周知，随着您拥有更多的证据（例如，对于 nid个示例，以更大的的形式出现），贝叶斯先验被“遗忘”，并且大多数推论都受到证据（或可能性）的影响。$n$$n$

很容易在各种特定情况下看到它（例如带有Beta优先级的Bernoulli或其他类型的示例）-但是在和一些先前的？$x_1,\ldots,x_n \sim p(x|\mu)$$p(\mu)$

编辑：我猜想它不能在一般情况下显示任何先验（例如，先有先有质量将使后验有先有质量）。但是也许在某些情况下会忘记先验。

这是我正在考虑显示的“路径”类型：

假设参数空间为，并且令和为两个先验值，它们在所有上放置非零概率质量。因此，每个先验的两次后验计算为：$\Theta$$p(\theta)$$q(\theta)$$\Theta$

$$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$$

和

$$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$$

如果将除以（后验），则得到：$p$$q$

$$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$$

现在，当转到我想探讨以上术语。理想情况下，对于“有意义” 的某个或其他一些不错的行为，它将变为，但是我不知道如何在此处显示任何内容。$n$$\infty$$1$$\theta$

只是一个粗略但希望直观的答案。

1. 从日志空间的角度来看它： 其中是一个常数，该常数取决于数据，而不取决于参数，并且您的可能性假定为iid观测值。因此，只需专注于确定后牙形状的部分，即

   $$-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$$ $C_n>0$ $$S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$$

2. 假定有一个，使得。这对于离散分布是合理的。$D>0$$-\log P(\theta) \leq D$

3. 由于这些术语都是肯定的，因此 “将”会增长（我在这里跳过了技术性内容）。但是先验的贡献受限制。因此，由先验贡献的分数最高为，每增加一个观察值就会单调减小。$S_n$$D$$D/S_n$

严格的证据当然必须面对技术问题（并且可能非常困难），但是上面的设置是恕我直言的最基本部分。

我对“先验被遗忘”和“大多数推论受到证据的影响”的说法感到困惑。我假设您的意思是，随着数据量的增加，估计器的（序列）将接近参数的真实值，而与我们之前的情况无关。

假设后验分布的形式存在一定的规律性条件，则贝叶斯估计量是一致的且渐近无偏的（见Gelman等，第4章）。这意味着随着样本数量的增加，贝叶斯估计器将逼近参数的真实值。 一致性意味着贝叶斯估计量在概率上收敛于真实参数值，而渐近无偏则意味着，假设是参数的真实值，$\theta_0$

$$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$$

收敛不取决于先验的具体形式，而仅取决于从先验获得的后验分布和似然性满足规则性条件。

Gelman等人提到的最重要的规律性条件是，似然性是参数的连续函数，而参数的真实值在参数空间内部。同样，正如您所指出的，在参数真值的真值的开放邻域中，后验必须为非零。通常，您的在整个参数空间上的优先级应该为非零。