贝叶斯方法更简单，更实用或更方便的情况列表

贝叶斯主义者和常客之间的统计数据之间存在许多争论。我通常认为这些内容令人反感（尽管我认为它已经消失了）。另一方面，我遇到了几个对这个问题完全务实的人，他们说有时进行频繁分析会更方便，有时进行贝叶斯分析会更容易。我觉得这种观点实用而令人耳目一新。

在我看来，列出此类案件会有所帮助。因为统计分析太多，并且由于我认为通常进行频率分析更为实用（在WinBUGS中编码t检验比在R中执行基于频率的版本所需的单个函数调用要复杂得多。 （例如），最好列出比贝叶斯方法更简单，更实用和/或更方便的贝叶斯方法。

(Two answers that I have no interest in are: 'always', and 'never'. I understand people have strong opinions, but please don't air them here. If this thread becomes a venue for petty squabbling, I will probably delete it. My goal here is to develop a resource that will be useful for an analyst with a job to do, not an axe to grind.)

欢迎人们提出不止一种情况，但请使用单独的答案，以便可以分别评估（投票/讨论）每种情况。答案应该列出：（1）情况的本质是什么，（2）在这种情况下为什么贝叶斯方法更简单。某些代码（例如，在WinBUGS中）演示了如何进行分析以及为什么贝叶斯版本更实用的代码比较理想，但是我希望这样做太麻烦了。如果可以轻松完成，请多加说明。

最后，我认识到我没有定义一种方法比另一种“简单”的含义。事实是，我不完全确定一种方法比另一种方法更实用。我乐于接受不同的建议，只要在解释为什么贝叶斯分析在讨论的情况下更方便时就指定您的解释即可。

（1）在上下文，其中似然函数是顽固性（至少数值），使用贝叶斯方法的，借助于贝叶斯计算近似（ABC），已经获得了对一些频率论竞争对手地面如复合似然性（1，2）或经验上的可能性，因为它往往更易于实现（不一定正确）。因此，ABC的使用在遇到诸如生物学，遗传学和生态学之类的棘手问题的地区很普遍。在这里，我们可以提及很多例子。

难解的可能性的一些例子是

• 流程重叠。Cox和Smith（1954）在神经生理学背景下提出了一个模型，该模型由叠加点过程组成。例如，考虑在一定时期内由几个神经元发出的在大脑某些部位观察到的电脉冲之间的时间。该样本包含非iid观测值，这使得难以构造相应的可能性，从而使相应参数的估计复杂化。本文最近提出了（部分）频繁的解决方案。最近还研究了ABC方法的实施，可以在这里找到。$N$

• 人口遗传学是导致难以估计的可能性的模型的另一个例子。在这种情况下，难解性具有不同的性质：可能性是用多维积分（有时为）表示的，要在单个点上对其进行评估将需要几十年的时间。该区域可能是ABC的总部。$1000+$

随着贝叶斯软件的改进，“更易于申请”的问题变得毫无意义。贝叶斯软件正以越来越容易的形式打包。一个最近的例子就是来自贝叶斯估计取代t检验的文章。以下网站提供了该文章和软件的链接：http : //www.indiana.edu/~kruschke/BEST/

本文简介的节选：

...有些人给人的印象是，NHST和贝叶斯方法的结论在简单的情况下（例如两组比较）趋于一致： ，实际上没有必要尝试将完整的贝叶斯机制应用于如此简单的问题”（布鲁克斯，2003年，第2694页）。相反，本文表明，贝叶斯参数估计提供的信息比NHST t检验要丰富得多，其结论可能与NHST t检验的结论有所不同。无论采用两种方法得出的决策是否一致，基于贝叶斯参数估计的决策都比基于NHST的决策更好。

（2）应力强度模型。应力强度模型的使用在可靠性方面很受欢迎。基本思想包括估计参数，其中和是随机变量。有趣的是，除了一些玩具示例（例如指数或正常情况）外，通常（甚至在数值上）该参数的轮廓似然计算非常困难。因此，需要考虑临时的频繁解决方案，例如经验可能性（请参见$\theta=P(X<Y)$$X$$Y$）或在一般框架中也难以构建的置信区间。另一方面，如果您拥有和分布的参数的后验分布样本，则贝叶斯方法的使用非常简单，那么您可以轻松地将它们转换为的后验样本。。$X$$Y$$\theta$

令为随机变量，其密度和分布分别由和。类似地，令为密度和分布分别由和给出的随机变量。然后$X$$f(x;\xi_1)$$F(x;\xi_1)$$Y$g ^ （Ý ; ξ 2$g(y;\xi_2)$$G(y;\xi_2)$

请注意，此参数是参数的函数。在指数和正常情况下，这可以用封闭形式表示（请参阅参考资料），但通常情况并非如此（请参见本文的示例）。这使轮廓似然的计算复杂化，因此使该参数的经典区间推断变得复杂。主要问题可以归纳如下：“目标参数是模型参数的未知/复杂函数，因此我们找不到涉及目标参数的重新参数化”。$(\xi_1,\xi_2)$$\theta$

从贝叶斯角度来看，这不是问题，因为如果我们有的后验分布样本，那么我们可以简单地将这些样本输入以获得后验的样本的，并提供该参数间隔推断。（⋆ ）$(\xi_1,\xi_2)$$(\star)$$\theta$

我接受过常客统计学的培训（实际上是计量经济学的专家），但我从未对贝叶斯方法持对抗态度，因为我的观点是，这场“史诗般”战斗的哲学渊源从一开始就被误导了（我已经宣告了我的意见在这里）。实际上，我计划在不久的将来也要接受贝叶斯方法的训练。

为什么？因为作为数学和概念上的尝试，最常让我着迷的频率统计的方面之一，同时也给我带来了最大的麻烦：样本量渐近。至少在计量经济学中，几乎没有今天的严肃论文声称，通常用于频繁计量经济学的各种估计量都具有我们希望从估计量中获得的任何理想的“小样本”属性。它们都依靠渐近特性来证明其合理性。所使用的大多数测试都只是渐近地具有理想的特性……但是我们不再处于“ z-land / t-land”状态：现代频繁主义者估计和推论的所有复杂的（且强大的）工具也具有高度的特质性，这意味着有时，确实需要一个laaaaaaaaa ... aaaarge样本，以使这些珍贵的渐近特性出现并有利地影响从估计量得出的估计量，如各种模拟所证明的那样。意味着数以万计的观察结果-尽管它们已开始用于某些经济活动领域（例如劳动力或金融市场），但在其他一些领域（例如宏观经济学）却是他们永远都不会做的（至少在我的一生中）。我对此感到非常不安，因为它真正地使派生结果不确定的（不只是随机的）。

小样本的贝叶斯计量经济学不依赖渐近结果。“但是他们依靠主观先验！” 是通常的响应...，我的简单，实用的回答如下：“如果现象是旧的并且之前已经研究过，则可以根据过去的数据来估计先验。如果现象是新的，则可以通过其他方式得到？通过主观争论，我们可以开始对此进行讨论吗？

这是一个较晚的答复，不过我希望它能有所帮助。在大多数情况下，我们使用贝叶斯方法进行电信方面的培训。

这是一个简单的示例：假设您可以传输+ 5，+ 2.5，-2.5和-5伏的四个可能信号。来自该集合的信号之一被发送，但是该信号在到达接收端时已被高斯噪声破坏。实际上，信号也会衰减，但是为简单起见，我们将放弃此问题。问题是：如果您在接收端，如何设计检测器来告诉您这些信号中的哪一个是最初发送的？

这个问题显然在假设检验领域。但是，您不能使用p值，因为重要性测试可能会拒绝所有四个可能的假设，并且您知道这些信号之一实际上是在传输的。原则上，我们可以使用Neyman-Pearson方法设计检测器，但是这种方法最适合二元假设。对于多种假设，当您需要为虚警概率处理数字约束时，它变得太笨拙。贝叶斯假设检验给出了一个简单的选择。这些信号中的任何一个都可以选择发送，因此先验是有可能的。在这种可能的情况下，该方法归结为选择具有最大可能性的信号。可以给此方法一个很好的几何解释：选择恰好最接近接收信号的信号。这也导致将决策空间划分为多个决策区域，使得如果所接收的信号将落在特定区域内，则可以确定与该决策区域相关联的假设是正确的。因此，检测器的设计变得容易。

在某些假设下，所谓的“频繁”统计测试通常等效于原则上更为复杂的贝叶斯方法。当这些假设适用时，两种方法都将得到相同的结果，因此可以安全地使用易于应用的频率测试。一般而言，贝叶斯方法更安全，因为它可以使假设变得明确，但是如果您知道自己在进行频率测试，则通常与贝叶斯方法一样好，并且通常更容易应用。

（我将尝试我认为是最典型的答案。）

假设您有一个情况，其中有多个变量和一个响应，并且您对其中一个变量应如何与响应相关，但对其他变量知之甚少。

在这种情况下，如果要运行标准多元回归分析，则不会考虑该先验知识。随后可以进行荟萃分析，这可能有助于阐明当前结果是否与其他发现一致，并且可能允许进行更精确的估计（包括当时的先验知识）。但是这种方法不会允许对该变量的了解影响其他变量的估计。

另一个选择是，可以对自己的函数进行编码和优化，以固定与所讨论变量的关系，并为其他变量查找参数值，从而在给定限制的情况下最大程度地提高数据的可能性。这里的问题是，尽管第一种选择不能充分约束beta估算值，但是这种方法却对其过度约束。

也许可以评审一些算法来更恰当地解决这种情况，像这样的情况似乎是贝叶斯分析的理想候选者。没有教条上反对贝叶斯方法的人应该愿意在这种情况下尝试。

最佳设计是贝叶斯方法非常简便，频频方法很难遵循的研究领域。

在此问题的简单版本中，您想尽可能高效地估计逻辑回归的单个回归系数。您可以使用等于您想要的任何一个样本，更新的估计值，然后选择下一个，依此，直到您对估计达到一定的准确性水平。 β X （2 ）$x^{(1)}$$\beta$$x^{(2)}$$\beta$

棘手的部分是的真实值将决定的最佳选择。您可以考虑使用的当前估计的与你忽略了错误的理解。这样，如果给定的合理估计，您可能只得到适度次优选择。X （我）β β β X （我）$\beta$$x^{(i)}$$\hat \beta$$\beta$$\hat \beta$$x^{(i)}$$\beta$

但是，当您第一次开始时呢？您没有频率估计，因为您没有数据。因此，您将需要收集一些数据（肯定会以非常次优的方式），而无需太多指导性理论来告诉您选择什么。即使经过几次选择，Hauck-Donner效应仍然可以阻止您定义估计值。如果您读过有关如何处理此问题的频率论文献，则基本上是“随机选择，直到存在的值，使得在该点的上方和下方都有0和1”（这意味着Hauck-Donner效果不会发生）。β X $\beta$$\beta$$x$$x$

从贝叶斯角度看，这个问题非常容易。

1. 开始对先验信念。$\beta$
2. 找出对后验分布影响最大的$x$
3. 使用从（2）中选择的值进行采样并更新后验$x$
4. 重复步骤2和3，直到达到所需的精度

频率偏高的文献会向后弯腰，让您尝试找到合理的值，希望可以在值上进行采样，并避免出现Hauck-Donner效应，以便您可以开始获取次优的采样...而贝叶斯方法是所有这些都非常容易，并且考虑了感兴趣参数的不确定性。$x$

贝叶斯方法更容易的最直接，最常见的情况之一就是量化参数的不确定性。

在这个答案中，我不是指置信区间与可信区间的解释。目前，让我们假设用户使用这两种方法都可以。

话虽如此，在贝叶斯框架中，它是直截了当的。它是任何感兴趣的单个参数的后验的边际方差。假设您可以从后验中进行采样，那么只需进行采样并计算方差即可。做完了！

在频率偏高的情况下，这通常仅在某些情况下是简单明了的，而在并非如此的情况下则是真正的痛苦。如果我们有大量的样本而不是少量的参数（并且谁真的知道有多大就足够大了），我们可以使用MLE理论来推导CI。但是，这些标准并不总是成立，尤其是在有趣的情况下（即混合效应模型）。有时我们可以使用引导程序，但有时我们不能！在我们无法做到的情况下，要推导出误差估计可能真的非常困难，而且常常需要一些技巧（例如，用于推导Kaplan Meier曲线的SE的Greenwood公式）。“使用一些技巧”并不总是可靠的方法！