从不正确的分布中采样（使用MCMC和其他方法）

我的基本问题是：如何从不正确的分布中抽样？从不正确的分布中取样甚至有意义吗？

西安的评论在某种程度上解决了这个问题，但我正在寻找有关此问题的更多详细信息。

更特定于MCMC：

在谈论MCMC和阅读论文时，作者强调要获得适当的后验分布。有著名的Geyer（1992）论文，作者忘了检查他们的后验是否正确（否则是一篇出色的论文）。

但是，假设我们有一个似然和不适当的先验分布使得所得后也不合适，并且MCMC从分发用于样品。在这种情况下，样本表明什么？此样本中有任何有用的信息吗？我知道这里的马尔可夫链就是瞬态的或零循环的。如果是零循环，是否有任何积极的收获？$f(x|\theta)$$\theta$

最后，在Neil G 在这里的回答中，他提到了

您通常可以从后方取样（使用MCMC），即使操作不当也是如此。

他提到这种采样在深度学习中很常见。如果这是真的，那有什么意义呢？

从概率/理论的观点来看，从不合适的后验（密度）采样是没有意义的。原因是函数f在参数空间上没有有限积分，因此不能链接到（有限度量）概率模型（Ω ，σ ，P）（空间，sigma-代数，概率度量）。$f$$f$$(\Omega,\sigma,{\mathbb P})$

如果您的模型具有不正确的先验导致后验不正确，那么在许多情况下，您仍然可以使用MCMC对其进行采样，例如Metropolis-Hastings，并且“后验样本”可能看起来很合理。乍一看，这看起来很有趣且自相矛盾。但是，这样做的原因是实际上MCMC方法仅限于计算机的数值限制，因此，计算机的所有支持都是有界的（并且是离散的！）。然后，在这些限制（有界和离散）下，后验实际上在大多数情况下是正确的。

Hobert和Casella有很多参考资料，提供了一个示例（性质稍有不同），您可以为后验构造Gibbs采样器，后验样本看起来很合理，但是后验是不正确的！

http://www.jstor.org/stable/2291572

一个类似的例子最近出现在这里。实际上，Hobert和Casella警告读者，不能使用MCMC方法来检测后部的不当之处，并且在实施任何MCMC方法之前必须分别进行检查。综上所述：

1. 某些MCMC采样器（例如Metropolis-Hastings）可以（但不应）用于从不正确的后验对象进行采样，因为计算机会限制并分散参数空间。只有当你有巨大的样品，你可能能够观察到一些奇怪的事情。您能否很好地检测到这些问题还取决于采样器中使用的“仪器”分布。后一点需要更广泛的讨论，所以我宁愿将其留在这里。
2. （霍伯特和卡塞拉）。您可以为先验不正确的模型构造Gibbs采样器（条件模型），但这并不意味着后验（联合模型）是正确的。
3. 对后验样本的正式概率解释需要对后验的适当性。仅针对适当的概率分布/度量建立收敛结果和证明。

PS（脸颊有点舌头）：不要总是相信人们在机器学习中所做的事情。正如布赖恩·里普利（Brian Ripley）教授所说：“机器学习是统计信息减去对模型和假设的任何检查”。

从上述Rod的出色答案中给出另一种更实用的观点-

$+/- 10^{100}$

$1/x$优先级-我用于计算的上限没有上限，它的“额外特征”在旧金山人口上方等于零...”，其中“额外特征”适用于样本生成之后的一步。真正的先验不是在MCMC计算中使用的（在我的示例中）。

因此，原则上，我会在应用程序工作中使用不适当的分布生成的MCMC生成的样本，这会很好，但是我会特别注意这种不适当的产生方式以及随机样本将如何影响该样本。理想情况下，随机样本不会受到它的影响，例如在我的热狗示例中，在一个合理的世界中，您实际生成的随机数永远不会大于旧金山的人数...

您还应该意识到以下事实，即即使稍后您确实将其截断了很多（或适用于模型的任何更改），您的结果也可能对导致其不合适的后验特征非常敏感。 ）您希望您的结果能够对微小的变化保持稳健，以便将后验从不正确的状态变为正确的状态。这可能很难确保，但是这是确保您的结果符合您的假设（尤其是为方便起见而定）的较大问题的全部部分。