为什么希望在MCMC中具有低自相关？

11

我不断阅读有关在MCMC中检查自相关的需求。为什么自相关很低很重要？在MCMC的背景下，它能衡量什么？

sampling autocorrelation mcmc

— 阿梅里奥·巴斯克斯·雷纳（Amelio Vazquez-Reina）
source

3

实际上，如果可以在MCMC采样器中产生很高的负自相关，则该采样器将在进行iid采样时得到改善。但是，这种情况很少发生……

— 西安

4

自相关是衡量信号值在不同时间点与该信号其他值的相关程度。在MCMC的情况下，自相关是衡量后验分布中不同样本之间的独立性的量度–自相关性越低，表示结果越独立。

当您具有较高的自相关时，您绘制的样本将无法准确地表示后验分布，因此不会为解决问题提供有意义的信息。换句话说，较低的自相关意味着链中的效率更高，估算值更好。一般规则是，自相关性越低，使该方法有效所需的样本就越少（但这可能过于简化了）。

— 亨利·哈蒙德
source

我对MCMC的了解不多，但是您的最后一句话似乎并不过分。如果您查看自相关对误差估计的影响，它们会将值从更改为其中是在相同的观测值上测得的自相关时间。因此，就像只有 '有效度量'而不是。此语句中是否还有一些过于简化的内容？

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— 学习是一团糟

10

首先，最明显的是，如果自相关很高，那么N个样本不会为您提供有关您的分布的N条信息，但要少得多。有效样本量（ESS）是衡量您实际获取的信息量的一种方法（并且是自相关参数的函数）。

相关地，自相关在短期内为您提供了无代表性的样本。此外，自相关越多，“短期”越长。对于非常强的自相关，短期可能会占您样本总数的很大一部分。通常直接的补救方法是重新参数化或采样参数，您希望它们在块中而不是单独地相互关联，因为否则它们会在链中生成自相关。人们经常也“瘦”，尽管有人在讨论如何解决潜在的问题，例如此处。 Kass 1997是对该问题的非正式讨论，尽管其他人可能会推荐一些较新的东西。

简而言之，一个高度自相关的链从开始状态到所需的目标分布所需的时间更长，而信息量较少，到达该分布时花费的时间也更长。

— 共轭先验
source