烧录后的MCMC迭代能否用于密度估计？

老化后，我们是否可以直接使用MCMC迭代进行密度估计，例如通过绘制直方图或核密度估计？我担心的是，尽管MCMC迭代最多是相同分布的，但它们不一定是独立的。

如果我们进一步将细化应用于MCMC迭代该怎么办？我担心的是，MCMC迭代最多是不相关的，并且尚未独立。

我通过Glivenko–Cantelli定理学习了将经验分布函数用作真实分布函数估计的基础，其中经验分布函数是基于iid样本计算的。我似乎看到了一些使用直方图或核密度估计作为密度估计的理由（渐近结果？），但我不记得他们了。

您可以-有人可以-通过MCMC采样估算密度。

要记住的一件事是，尽管直方图和KDE很方便，但至少在简单情况下（例如Gibbs采样），可能会提供更有效的密度估计。

如果特别考虑吉布斯采样，则可以使用您要从中采样的条件密度代替采样值本身来生成密度的平均估计值。结果趋于相当平滑。

该方法在

Gelfand和Smith（1990），“基于样本的方法计算边际密度”
，《美国统计协会杂志》，第1期。85，第410页，第398-409页

（尽管Geyer告诫说，如果采样器相关性足够高，那么它并不总是会减小方差并为此提供条件）

例如，在Robert，CP和Casella，G。（1999）Monte Carlo Statistics Methods中也讨论了这种 方法。

您不需要独立性，实际上是在计算平均值。如果要计算密度估计值（或cdf）的标准误差，则必须考虑依赖性。

当然，同一概念也适用于其他期望，因此可以用来改进许多其他种类的平均值的估计。

恢复

您可以将MCMC迭代直接用于任何事物，因为可观察对象的平均值将渐近逼近真实值（因为您处于老化状态）。

但是，请记住，此平均值的方差受样本之间的相关性影响。这意味着，如果将样本关联起来（如MCMC中常见的那样），则存储每次测量都不会带来任何真正的优势。

理论上，您应该在N步之后进行测量，其中N约为所测量的可观测物的自相关时间的数量级。

详细说明

让我们定义一些符号来正式回答您的问题。假设是您的MCMC仿真在时间，假定该时间远高于预烧时间。令为您要测量的可观测值。吨$x_t$$t$$f$

例如，，并且：“如果，否则为0”。自然是从分布绘制的，您可以使用MCMC 进行绘制。 ˚F = ˚F 一个（X ）X ∈ [ 一，一个+ Δ ] X 吨 P （X $x_t \in \mathbb{R}$$f=f_a(x)$$x\in[a,a+\Delta]$$x_t$$P(x)$

在任何采样中，您将始终需要计算可观察到的的平均值，您可以使用估算器进行计算：$f$

$$F = \frac{1}{N}\sum_{i=1}^N f(x_i)$$

我们看到该估计量（关于）的平均值为P （X $\langle F\rangle$$P(x)$

$$\langle F \rangle = \frac{1}{N}\sum_{i=1}^N \langle f(x_i)\rangle = \langle f(x)\rangle$$

这是您想要获得的。

主要问题是，当您计算此估计量的方差，您将获得以下形式的项$\langle F^2 \rangle - \langle F \rangle^2$

$$\sum_{i=1}^N\sum_{j=1}^N \langle f(x_i)f(x_j)\rangle$$

如果是相关样本，则不会抵消。而且，因为您可以写，所以可以将上面的两倍和写为，的自相关函数的和。 Ĵ = 我+ Δ ˚F - [R （Δ $x_t$$j=i+\Delta$$f$$R(\Delta)$

因此，回顾一下：

• 如果在计算上不需要花费任何费用来存储每个度量，则可以执行此操作，但请记住，不能使用常规公式来计算方差。

• 如果在MCMC的每个步骤上进行测量在计算上都很昂贵，则必须找到一种方法来估算自相关时间的累积，并仅每执行一次测量。在这种情况下，测量是独立的，因此可以使用方差的常用公式。$\tau$$\tau$