分层贝叶斯模型与经验贝叶斯

您是否认为HBM与EB是超参数在采样/估计/等“游戏中”的两个选择？这两者之间显然存在联系。

您会认为HBM比EB更“完全贝叶斯”吗？在哪里可以看到“完全贝叶斯”和其他替代方案之间的区别？

谢谢。

我要说的是，HBM肯定比EB更“贝叶斯”，因为边缘化是比优化更多的贝叶斯方法。在我看来，本质上来说，EB忽略了超参数中的不确定性，而HBM试图将其包括在分析中。我怀疑HMB是个好主意，因为数据很少，因此超参数中存在很大的不确定性，必须加以考虑。另一方面，对于大型数据集，EB变得更具吸引力，因为它通常在计算上不那么昂贵，并且数据量通常意味着结果对超参数设置的敏感度要低得多。

我从事过高斯过程分类器的研究，经常优化超参数以最大程度地提高边际可能性，从而导致ML过度拟合，从而导致泛化性能显着下降。我怀疑在那种情况下，全面的HBM治疗会更可靠，但也要昂贵得多。