基于MCMC的回归模型中的残留诊断


21

我最近开始使用MCMC算法(实际上是R中的MCMCglmm函数)在贝叶斯框架中拟合回归混合模型。

我相信我已经了解了如何诊断估计过程的收敛性(迹线,geweke图,自相关,后验分布...)。

在贝叶斯框架中给我留下深刻印象的一件事是,似乎花了很多精力来进行这些诊断,而在检查拟合模型的残差方面却似乎做得很少。例如,在MCMCglmm中,确实存在残留的.mcmc()函数,但实际上尚未实现(即返回:“尚未为MCMCglmm对象实现的残留物”; predict.mcmc()的情况相同)。在其他软件包中似乎也缺少它,而且在我发现的文献中,除讨论广泛的DIC之外,它几乎没有被讨论过。

谁能指出一些有用的参考,理想情况下,我可以使用或修改R代码?

非常感谢。


好问题。我真的很喜欢安德鲁·盖尔曼的与科斯马·沙利齐约贝叶斯模型检验。
David J. Harris

Answers:


7

我认为残差一词的使用与贝叶斯回归不一致。请记住,在频繁概率模型中,参数被视为固定的可估计量,并且数据生成机制具有一些与观测数据相关的随机概率模型。对于贝叶斯,概率模型的参数被认为是可变的,固定数据更新了我们对那些参数是什么的信念。因此,如果你计算的方差观察到的的回归模型值,则观察分量将具有0方差,而拟合分量将根据模型参数的后验概率密度而变化。这与从频繁回归模型中得出的结果相反。我认为,如果有人有兴趣检查其贝叶斯回归模型的概率假设,则将参数估计值(根据我们的MCMC采样估计)的后验密度与正态分布进行简单的QQ绘图,将具有类似于分析残差(或Pearson残差)的诊断能力用于非线性链接函数)。


1
这是一个很好的答案。可能还存在一些答案,这些答案可以根据观察到的负拟合残差计算出有用的贝叶斯结构,但是这一点当然不应该被否决。
2013年

3
另外,可能值得澄清的是,在贝叶斯设置中,您实际上并没有“拟合”的值。您可以计算给定观察输入的后验均值,以获得该输入处目标变量的期望值的最大后验估计。但这将减少一切以求点估计,如果您要进行贝叶斯推断,通常就不需要这样做。
2013年

2
@EMS这些都是有意义的残差。仅仅因为一个人是贝叶斯人,并不意味着就不能检查这些假设是否反映在数据中。
Glen_b-恢复莫妮卡

1
对于在频繁情况下的准确概率推断(适当的正态假设),在研究实验的复制中,“残差”将有条件地独立于“拟合值”(或条件均值)。在贝叶斯世界中,数据不是随机的,那么什么条件独立于什么呢?
AdamO 2013年

1
贝叶斯方法和精确的频繁度程序的回归是一种估计条件均值,通常由一组模型参数来描述。我使用条件均值来指代拟合值。在频率统计,有反复实验的概念,虽然我们设想样本大小和分布的为被固定而是随机的,可能会在反复试验的复制。那就是概率论的常识性解释。这就是为什么残差具有随机变量的属性,尤其是密度函数的原因。Ë[ÿ|X]Xÿ
AdamO 2013年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.