最大似然参数偏离后验分布

我有一个似然函数$\mathcal{L}(d | \theta)$为我的数据的概率$d$给出一些模型参数$\theta \in \mathbf{R}^N$，我想估计。假设先验参数平坦，则似然度与后验概率成正比。我使用MCMC方法来采样这种可能性。

查看生成的收敛链，我发现最大似然参数与后验分布不一致。例如，对于一个参数的边缘化后验概率分布可能是$\theta_0 \sim N(\mu=0, \sigma^2=1)$，而值$\theta_0$在最大似然点是$\theta_0^{ML} \approx 4$，基本上是几乎最大值$\theta_0$通过MCMC采样器遍历。

这是一个说明性的例子，不是我的实际结果。实际分布要复杂得多，但是某些ML参数在其各自的后验分布中具有类似的不太可能具有p值。注意，我的一些参数的有界（例如$0 \leq \theta_1 \leq 1$）; 在范围内，先验总是一致的。

我的问题是：

1. 这样的偏差本身就是问题吗？显然，我不希望ML参数与它们的每个边缘化后验分布的最大值完全一致，但是从直觉上来说，感觉它们也不应该在尾部深处发现。这种偏离会自动使我的结果无效吗？

2. 这是否一定有问题，在数据分析的某个阶段是否可能是特定病理的症状？例如，是否有可能做出一般性的陈述，说明这种偏差是由不正确的收敛链，不正确的模型还是对参数的过度约束引起的？

对于平坦先验，后验与直到一个常数的可能性相同。从而

1. MLE（由优化器估计）应与MAP相同（最大后验值=后验的多元模式，由MCMC估计）。如果没有得到相同的值，则说明采样器或优化器存在问题。

2. 对于复杂模型，边缘模式与MAP不同是很常见的。例如，如果参数之间的相关性是非线性的，则会发生这种情况。这是完全可以的，但是边缘模式因此不应被解释为最高后验密度的点，也不能与MLE进行比较。

3. 但是，在您的特定情况下，我怀疑后验会碰到前一个边界。在这种情况下，后验将是非常不对称的，并且用均值sd来解释它是没有意义的。这种情况没有原则性的问题，但是在实践中，它通常暗示模型规格不正确或先验选择不当。

对于这种感知到的差异，可能有一些通用的解释，当然，假设代码或似然定义或MCMC实现，MCMC迭代次数或似然最大化器的收敛都没有问题（谢谢Jacob Socolar）：

1. $N$$\sqrt{N}$$\theta|\mathbf x\sim\mathcal N_N(0,I_N)$$\theta$$N-2\sqrt{2N}$$0$

2. 虽然MAP和MLE实际上在平坦的先验条件下是混杂的，但模型的不同参数的边际密度可能具有远离相应MLE（即MAP）的（边际）模式。

3. MAP是参数空间中后方密度最高的位置，但这并不表示MAP邻域的后方重量或体积的任何指示。非常细的尖刺不携带后重。这也是为什么MCMC探索后路可能难以识别后路模式的原因。

4. 大多数参数有界的事实可能导致MAP = MLE的某些分量出现在边界处。

有关MAP估计量的非贝叶斯性质的论点，请参见Druihlet和Marin（2007）。一种是对这些估计量的依赖性的依赖，另一种是在重新参数化下缺乏不变性（与MLE不同）。

作为上面第1点的示例，这是一个简短的R代码

N=100
T=1e4
lik=dis=rep(0,T)
mu=rmvnorm(1,mean=rep(0,N))
xobs=rmvnorm(1,mean=rep(0,N))
lik[1]=dmvnorm(xobs,mu,log=TRUE)
dis[1]=(xobs-mu)%*%t(xobs-mu)
for (t in 2:T){
  prop=rmvnorm(1,mean=mu,sigma=diag(1/N,N))
  proike=dmvnorm(xobs,prop,log=TRUE)
  if (log(runif(1))<proike-lik[t-1]){
    mu=prop;lik[t]=proike
     }else{lik[t]=lik[t-1]}
    dis[t]=(xobs-mu)%*%t(xobs-mu)}

模拟了维度为N = 100的随机行走的Metropolis-Hastings序列。MAP上的对数似然值是-91.89，但是访问的可能性永远不会接近：

> range(lik)
[1] -183.9515 -126.6924

这可以通过以下事实来解释：该序列永远不会靠近观察值：

> range(dis)
[1]  69.59714 184.11525