“完全贝叶斯”与“贝叶斯”

我一直在学习贝叶斯统计，并且经常在文章中阅读

“我们采用贝叶斯方法”

或类似的东西。我还注意到，很少出现：

“我们采用完全贝叶斯方法”

（我的重点）。这些方法在实践或理论上有什么区别吗？FWIW，如果需要的话，我MCMCglmm在R中使用该软件包。

术语“完全贝叶斯方法”不过是表示根据上下文从“部分”贝叶斯方法转变为“真正”贝叶斯方法的一种方式。或者将“伪贝叶斯”方法与“严格”贝叶斯方法区分开来。

例如，一位作者写道：“不同于其他通常对RVM使用经验贝叶斯方法的感兴趣的作者，我们采用完全贝叶斯方法”，因为经验贝叶斯方法是“伪贝叶斯”方法。还有其他伪贝叶斯方法，例如贝叶斯频率预测分布（其分位数与频率分布预测间隔的边界匹配的分布）。

在此页面中，介绍了几个用于贝叶斯推理的R包。之所以将MCMCglmm称为“完全贝叶斯方法”，是因为用户必须选择与其他软件包相反的先验分布。

“完全贝叶斯”的另一种可能含义是，当人们执行从贝叶斯决策理论框架（即从损失函数派生）而来的贝叶斯推理时，因为贝叶斯决策理论是贝叶斯推理的坚实基础框架。

我认为该术语用于区分贝叶斯方法和经验贝叶斯方法。Full Bayes使用指定的先验，而经验Bayes允许通过使用数据来估计先验。

“贝叶斯”实际上是指“近似贝叶斯”。

“完全贝叶斯”也表示“近似贝叶斯”，但是具有较小的近似性。

编辑：澄清。

我将使用“完全贝叶斯”来表示所有讨厌的参数都已从分析中边缘化，而不是优化（例如MAP估计）。例如，高斯过程模型（其超参数被调整为使边际可能性最大化）将是贝叶斯方法，但仅部分如此，而如果使用超先验方法将定义协方差函数的超参数进行了积分，那将完全是贝叶斯方法。 。

作为一个实际的例子：

我使用样条曲线进行贝叶斯建模。花键的常见问题是结选择。一种流行的可能性是使用可逆跳跃马尔可夫链蒙特卡罗（RJMCMC）方案，该方案建议在每次迭代期间添加，删除或移动结。样条系数为最小二乘估计。

免费结样条

在我看来，这仅使其成为“部分贝叶斯”方法，因为对于“完全贝叶斯”方法，先验需要放在这些系数上（以及在每次迭代中提出的新系数），但是最小二乘估计对于RJMCMC不起作用方案，事情变得更加困难。

我要添加到目前为止没有提到的特征。完全贝叶斯方法通过贝叶斯定理“完全”传播所有未知量的不确定性。另一方面，伪贝叶斯方法（例如经验贝叶斯）不能传播所有不确定性。例如，当估计后验预测量时，完全贝叶斯方法将利用未知模型参数的后验密度来获得目标参数的预测分布。EB方法无法解决所有未知数中的不确定性-例如，某些超参数可能设置为特定值，因此低估了总体不确定性。