交叉验证与经验贝叶斯估计超参数

给定一个层次模型，我想要一个两阶段的过程来拟合模型。首先，固定少数几个超参数θ，然后对其余参数ϕ进行贝叶斯推断。为了修复超参数，我正在考虑两种选择。$p(x|\phi,\theta)$$\theta$$\phi$

1. 使用经验贝叶斯（EB）并最大化边际可能性（整合包含高维参数的模型的其余部分）。$p(\mbox{all data}|\theta)$
2. 使用交叉验证（CV）技术（例如倍交叉验证）来选择使似然性p最大化的θ （测试数据| 训练数据，θ ）。$k$$\theta$$p(\mbox{test data}|\mbox{training data}, \theta)$

EB的优势在于，我可以一次使用所有数据，而对于CV，我需要（潜在地）多次计算模型似然并搜索。在许多情况下，EB和CV的性能是可比的（*），通常EB的估算速度更快。$\theta$

问题：是否存在将两者联系起来的理论基础（例如，EB和CV在大数据限制内是相同的）？还是将EB与某些通用性标准（例如经验风险）联系起来？有人可以指出良好的参考资料吗？

（*）作为说明，这是墨菲的机器学习（Murphy's Machine Learning）第7.6.4节中的图，他说，对于岭回归，两个过程都产生非常相似的结果：

墨菲还说，经验贝叶斯（他称其为“证据程序”）相对于CV的主要实践优势是，当由许多超参数组成时（例如，对每个特征进行单独惩罚，如自动相关性确定或ARD）。根本不可能使用CV。$\theta$

我怀疑是否存在理论上的联系，即CV和证据最大化在渐近上是等价的，因为根据模型的假设，证据告诉我们数据的概率。因此，如果模型指定不正确，则证据可能不可靠。另一方面，交叉验证可估计数据的概率，无论建模假设是否正确。这意味着，如果使用较少的数据进行建模假设是正确的，则证据可能是更好的指南，但是交叉验证对于模型错误指定将是可靠的。CV渐近无偏，但是除非模型假设恰好正确，否则我认为证据不是。

这本质上是我的直觉/经验；我也想听听有关此方面的研究。

请注意，对于许多模型（例如，岭回归，高斯过程，核岭回归/ LS-SVM等），留一法交叉验证的执行效率至少与估计证据的效率相同，因此不必进行计算那里的优势。

附录：边际可能性估计和交叉验证性能估计都是在有限的数据样本上进行评估的，因此，如果通过优化任一准则对模型进行调整，总是存在过度拟合的可能性。对于小样本，两个标准的方差之差可以决定哪个效果最好。看我的论文

加文·考利（Gavin C. Cawley），尼古拉·LC·塔尔伯特（Nicola LC Talbot），“模型选择中的过拟合和性能评估中的后续选择偏差”，《机器学习研究杂志》，第11卷，（7月）：2079−2107，（pdf）

$k$$k$