Questions tagged «empirical-bayes»

因此，我刚读完一本很棒的书《经验贝叶斯简介》。我以为这本书很棒，但是根据数据建立先验感觉是错误的。我们接受过培训，要求您提出分析计划，然后收集数据，然后测试您先前在分析计划中确定的假设。在对已经收集的数据进行分析时，这将使您进入选择性后推断，在此之后您必须对所谓的“重要”更为严格，请参见此处。我认为机器学习有一个类似的东西，叫做“樱桃采摘”，意思是在建立测试和训练集之前选出预测变量（《统计学习入门》）。 鉴于我以前学到的知识，在我看来，经验贝叶斯基于薄弱的基础。人们是否仅在被动生成数据的环境中使用它？如果是这样，这可能是合理的，但是在进行严格的实验设计时使用它似乎并不正确，但是我知道Brad Efron确实使用了专门针对生物统计学的经验贝叶斯方法，而贝叶斯通常是一个非常重要的NHST领域。 我的问题是： 经验贝叶斯如何有效？ 在什么情况下使用？ 在什么情况下应该避免使用经验贝叶斯方法？为什么？ 人们是否在生物统计学之外的其他领域使用它？如果是，他们在什么情况下使用它？

24 machine-learning  hypothesis-testing  bayesian  empirical-bayes 

给定一个层次模型，我想要一个两阶段的过程来拟合模型。首先，固定少数几个超参数θ，然后对其余参数ϕ进行贝叶斯推断。为了修复超参数，我正在考虑两种选择。p(x|ϕ,θ)p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaϕϕ\phi 使用经验贝叶斯（EB）并最大化边际可能性（整合包含高维参数的模型的其余部分）。p （所有数据| θ）p（所有数据|θ）p(\mbox{all data}|\theta) 使用交叉验证（CV）技术（例如倍交叉验证）来选择使似然性p最大化的θ （测试数据| 训练数据，θ ）。ķķkθθ\thetap （测试数据| 训练数据，θ ）p（测试数据|训练数据，θ）p(\mbox{test data}|\mbox{training data}, \theta) EB的优势在于，我可以一次使用所有数据，而对于CV，我需要（潜在地）多次计算模型似然并搜索。在许多情况下，EB和CV的性能是可比的（*），通常EB的估算速度更快。θθ\theta 问题：是否存在将两者联系起来的理论基础（例如，EB和CV在大数据限制内是相同的）？还是将EB与某些通用性标准（例如经验风险）联系起来？有人可以指出良好的参考资料吗？ （*）作为说明，这是墨菲的机器学习（Murphy's Machine Learning）第7.6.4节中的图，他说，对于岭回归，两个过程都产生非常相似的结果： 墨菲还说，经验贝叶斯（他称其为“证据程序”）相对于CV的主要实践优势是，当由许多超参数组成时（例如，对每个特征进行单独惩罚，如自动相关性确定或ARD）。根本不可能使用CV。θθ\theta

20 cross-validation  references  empirical-bayes 

您是否认为HBM与EB是超参数在采样/估计/等“游戏中”的两个选择？这两者之间显然存在联系。 您会认为HBM比EB更“完全贝叶斯”吗？在哪里可以看到“完全贝叶斯”和其他替代方案之间的区别？ 谢谢。

12 bayesian  empirical-bayes 

最近，我碰巧读了有关经验贝叶斯的信息（Casella，1985年，经验贝叶斯数据分析入门），它看起来很像随机效应模型。两者的估算都缩小到了全球平均水平。但是我还没有读完... 有没有人对他们之间的异同有任何见解？

12 bayesian  estimation  random-effects-model  steins-phenomenon  empirical-bayes