什么时候（如果有的话）频频论的方法比贝叶斯方法更好？

背景：我没有接受贝叶斯统计方面的正式培训（尽管我对学习更多内容非常感兴趣），但我知道-我想知道的要点是为什么许多人觉得它们似乎比频率统计更可取。甚至我所教授的入门统计学（社会科学）课程中的大学生都发现贝叶斯方法很吸引人-“为什么我们对计算数据的概率感兴趣（给定null呢？）为什么我们不能仅仅量化是零假设还是替代假设？我也读过类似这样的线索，它们也证明了贝叶斯统计的经验优势，但后来我碰到了布拉斯科（Blasco，2001；重点强调）：

如果动物育种者对与归纳相关的哲学问题不感兴趣，但对解决问题的工具感兴趣，那么贝叶斯推理派和惯常论推论派都已建立，并且没有必要证明为什么选择另一派或另一派来论证。除了一些复杂的案例外，它们现在都没有操作上的困难... 选择一所学校或另一所学校应与一所学校是否存在另一所学校没有提供的解决方案，解决问题的容易程度有关，以及科学家对特定表达方式的感觉如何。

问题：布拉斯科的名言似乎暗示，有时频频方法实际上比贝叶斯方法更可取。因此，我很好奇：什么时候比贝叶斯方法更偏爱常去方法？我对从概念上（即什么时候知道以原假设为条件的数据的概率特别有用？）和凭经验（即在什么条件下Frequentist方法优于贝叶斯方法？）都可以解决这个问题的答案感兴趣。

如果答案尽可能地易于传达也将是可取的-最好将一些答案反馈给我的班级以与我的学生分享（尽管我知道需要一定程度的技术性）。

最后，尽管经常使用频率统计，但实际上我对贝叶斯全盘获胜的可能性持开放态度。

以下是为什么偏爱频繁使用者方法的五个原因：

• 快点。鉴于贝叶斯统计通常会给频密者答案提供几乎相同的答案（如果不是，则贝叶斯始终不是走100％的路子），频密者统计通常可以更快地获得几个数量级的事实是有力的论据。同样，频繁使用的方​​法不需要太多的内存来存储结果。尽管这些事情看似微不足道，尤其是在数据集较小的情况下，但贝叶斯和频率论通常会在结果上达成共识（尤其是如果您有大量信息数据时），这意味着如果您要关心，则可能会开始关注不太重要的事情东西。当然，如果您生活在大数据世界中，那么这些都不是小事。

• 非参数统计。我认识到贝叶斯统计量确实具有非参数统计量，但是我认为该领域的常客方具有一些真正不可否认的实用工具，例如经验分布函数。世界上没有任何方法可以替代EDF，也不能替代Kaplan Meier曲线等（尽管显然这并不是说这些方法是分析的终点）。

• 诊断较少。MCMC方法是最适合贝叶斯模型的方法，通常需要用户比他们的常客相对多的工作。通常，MLE估计的诊断非常简单，以至于任何好的算法实现都会自动执行（尽管这并不是说每个可用的实现都是好的...）。因此，常客算法诊断通常是“确保在拟合模型时没有红色文本”。考虑到所有统计人员的带宽都有限，这可以腾出更多时间来提问“我的数据真的很正常吗？”之类的问题。或“这些危害真的成比例吗？”等

• 在模型错误指定下的有效推断。我们都听说过“所有模型都是错误的，但有些模型是有用的”，但是不同的研究领域或多或少都对此予以重视。当模型未正确指定时，Frequentist文献中充斥着各种方法来修正推论：自举估计器，交叉验证，三明治估计器（链接还讨论了模型错误指定下的一般MLE推论），广义估计方程（GEE），拟似然法，依我所知，在贝叶斯文献中关于模型错误指定下的推论很少（尽管对模型检查（即后验预测检查）的讨论很多）。我不认为这是偶然的：评估估算器在反复试验中的行为方式并不需要估算器基于“真实”模型，而使用贝叶斯定理却可以！

• 摆脱先验（这可能是人们不对所有事物使用贝叶斯方法的最常见原因）。贝叶斯立场的优势经常被吹捧为使用先验。但是，在我工作过的所有应用领域中，都没有考虑在分析中提供先验信息的想法。阅读有关如何从非统计专家那里获得先验知识的文献就可以很好地说明这一点；我读过一些论文，上面写着（残酷的稻草人喜欢解释我自己的意思）：“请雇用您的研究人员，因为他们难以理解统计数据，无法确定他们有难以想象的效果大小的范围是90％该范围通常太窄，因此请任意尝试使它们扩大一点，询问他们的信念是否看起来像伽马分布。您可能必须为它们绘制一个伽马分布，并显示形状参数较小时尾巴如何具有沉重的尾巴。这也将涉及向他们解释PDF。”（注：我认为即使统计人员也无法真正说出先验确定它们是90％还是95％，可以确定效应大小是否在一个范围内，并且这种差异会对分析产生实质性影响！）。实话实说，我很不友好，在某些情况下，获得先验可能会更加直接。但是您可以看到这是一罐蠕虫。即使您切换到非信息优先级，这仍然是一个问题；在转换参数时，容易被误认为是非信息性先验的信息可以被视为非常有用的信息！另外一个例子是，我已与一些研究者谁坚决做到谈到不想要听到另一位专家对数据的解释是什么，因为根据经验，另一位专家往往过分自信。他们宁愿知道可以从另一位专家的数据中推断出什么，然后得出自己的结论。我不记得在哪里听到的，但是在某个地方我读到“如果您是贝叶斯人，您希望每个人都成为一个常客”这一短语。我的解释是，从理论上讲，如果您是贝叶斯人，并且有人描述了他们的分析结果，则应首先尝试消除其先验的影响，然后弄清楚如果使用自己的影响，将会产生什么样的影响。如果他们给您一个置信区间而不是可信区间，那么这个小练习将被简化！

当然，如果您放弃先验的先验知识，贝叶斯分析中仍然会有实用性。我个人认为，这是他们发挥最大作用的地方。使用MLE方法很难解决一些问题，但是使用MCMC可以很容易地解决这些问题。但是，我认为这是贝叶斯算法的最高效用是因为我的先验知识很强，因此请带一点盐。

经常性统计的一些具体优点：

• 通常有针对常客问题的封闭式解决方案，而在贝叶斯类似物中具有封闭式解决方案之前，您需要共轭。出于多种原因，这很有用-其中之一是计算时间。
• 希望最终会消失的一个原因：外行教有常客统计数据。如果您想被很多人理解，您需要说常客。
• 如果目标是证明某人错了（我将假设您是对的，并且显示出压倒性的数据表明您错了），那么使用“直到被证明有罪才无罪”的零假设假设意义测试（NHST）方法非常有用。是的，贝叶斯中有NHST类似物，但我发现常客主义者的版本更加简单明了。
• 有没有这样的事情作为一个真正的无信息之前，这让一些人感到不舒服。

使用Frequentist方法的最重要原因是错误控制，这一点令人惊讶地尚未提及。很多时候，研究会导致二分法的解释（我是否应该以此为基础进行研究？是否应该实施干预？）。惯常方法可让您严格控制1型错误率。贝叶斯方法没有（尽管某些方法继承了似然方法的通用边界，但是即使那样，在小样本中，错误率也可能很高，证据阈值也相对较低（例如，BF> 3）。贝叶斯因素（例如，请参阅http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513），但这仍然是一种常见的方法。我认为很多时候，研究人员更关心错误控制而不是量化证据本身（相对于某些特定的假设），而且我认为至少每个人在某种程度上都关心错误控制，因此应该使用两种方法互补地。

我认为，作为统计学家，最大的问题之一是，您必须问自己：您是否相信或想要坚持可能性原则。如果您不相信似然原理，那么我认为统计学的常识范式可能非常强大，但是，如果您确实相信似然原理，那么（我相信）您肯定会在或不违反它。

---

如果您不熟悉它，似然原理告诉我们以下内容：

似然原理：在观察到某些数据后对进行推断或决策时，所有相关实验信息均包含在似然函数中： 其中对应于观察到的数据，因此是固定的。$\theta$$\mathbf{x}$

$$\ell(\theta;\mathbf{x})=p(\mathbf{x}|\theta)$$ $\mathbf{x}$

此外，如果和是两个采样点，使得与成比例，则，存在一个常数使得$\mathbf{x}$$\mathbf{y}$$\ell(\theta;\mathbf{x})$$\ell(\theta;\mathbf{y})$$C(\mathbf{x},\mathbf{y})$

$$\ell(\theta;\mathbf{x})=C(\mathbf{x},\mathbf{y})\ell(\theta;\mathbf{y})\hspace{.1in}\text{for all }\theta,$$

那么从和得出的结论应该是相同的。\$\mathbf{x}$$\mathbf{y}$

请注意，上述常数对于不同的对可能有所不同，但不依赖。$C(\mathbf{x},\mathbf{y})$$(\mathbf{x},\mathbf{y})$$C(\mathbf{x},\mathbf{y})$$\theta$

在的特殊情况下，似然原理指出，如果两个采样点产生相同的似然函数，则它们包含有关的相同信息。但是，可能性原则则更进一步。它指出，即使两个采样点仅具有成比例的似然，它们也包含有关等效信息。θ $C(\mathbf{x},\mathbf{y})=1$$\theta$$\theta$

---

现在，贝叶斯统计的吸引之一是，在适当的先验条件下，贝叶斯范式永远不会违反似然性原理。但是，在非常简单的场景中，频繁使用者范例将违反似然性原理。

这是一个基于假设检验的非常简单的示例。考虑以下：

考虑一个进行了12次Bernoulli试验并观察到3次成功的实验。根据停止规则，我们可以将数据表征如下​​：

• 二项式分布：和数据：X = $X|\theta\sim\text{Bin}(n=12,\theta)$$x=3$
• 负二项式分布： 和数据：ÿ = $Y|\theta\sim\text{NegBin}(k=3,\theta)$$y=12$

因此，我们将获得以下似然函数： ，这意味着 ，因此，根据似然原理，我们应该从任一可能性中获得关于的相同推论。

$$\begin{align} \ell_1(\theta;x=3)&=\binom{12}{3}\theta^3(1-\theta)^9\\ \ell_2(\theta;y=12)&=\binom{11}{2}\theta^3(1-\theta)^9\\ \end{align}$$ $$\ell_1(\theta;x)=C(x,y)\ell_2(\theta,y)$$ $\theta$

现在，想像一下从范式检验以下假设

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

对于二项式模型，我们具有以下内容：

$$\begin{align} \text{p-value}&=P\left(X\leq 3|\theta=\frac{1}{2}\right)\\ &=\binom{12}{0}\left(\frac{1}{2}\right)^{12}+\binom{12}{1} \left(\frac{1}{2}\right)^{12}+ \binom{12}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{3}\left(\frac{1}{2}\right)^{12}=0.0723 \end{align}$$

请注意但其他术语可以不满足似然性原则。$\binom{12}{3}\left(\frac{1}{2}\right)^{12}=\ell_1(\frac{1}{2};x=3)$

对于负二项式模型，我们具有以下内容：

$$\begin{align} \text{p-value}&=P\left(Y\geq 12|\theta\frac{1}{2}\right)\\ &=\binom{11}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{2}\left(\frac{1}{2}\right)^{12}+ \binom{13}{2}\left(\frac{1}{2}\right)^{12}+...=0.0375 \end{align}$$

从上面的p值计算中可以看出，在二项式模型中，我们将拒绝拒绝但是在使用负二项式模型中，我们将拒绝。因此，即使仍然存在p值，并且基于这些p值的决策也不一致。这种p值参数是贝叶斯人经常使用的反对使用频繁p值的参数。$H_o$$H_o$$\ell_1(\theta;x)\propto\ell_2(\theta;y)$

现在考虑再次测试以下假设，但来自贝叶斯范式

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

对于二项式模型，我们具有以下内容：

$$\begin{align} P\left(\theta\geq\frac{1}{2}|x\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

同样，对于负二项式模型，我们具有以下内容：

$$\begin{align} P\left(\theta\geq\frac{1}{2}|y\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

现在使用贝叶斯决策规则，如果（或其他一些阈值），则选择，重复类似的操作。$H_o$$P(\theta\geq\frac{1}{2}|x)>\frac{1}{2}$$y$

但是，这样我们得出相同的结论，因此该方法满足似然原理。$P\left(\theta\geq\frac{1}{2}|x\right)=P\left(\theta\geq\frac{1}{2}|y\right)$

---

因此，总结一下我的观点，如果您不关心似然原理，那么经常出入是很棒的！（如果您不能告诉我，我是贝叶斯:)）

您和我都是科学家，作为科学家，他们主要对证据问题感兴趣。因此，我认为贝叶斯方法是可行的。

贝叶斯方法回答了我们的问题：一种假设相对于另一种假设的证据强度是什么？另一方面，频率论方法则不这样做：它们仅报告给定一个假设的数据是否怪异。

话虽如此，著名的贝叶斯经济学家安德鲁·盖尔曼（Andrew Gelman）似乎支持使用p值（或类似p值的图形检查）来检查模型规范中的错误。您可以在此博客文章中看到对这种方法的暗示。

据我所知，他的方法分两个步骤进行：首先，他问贝叶斯问题：一个模型相对于另一个模型的证据是什么？其次，他问频率论者（Frequentist）的问题，即在给定数据的情况下，首选模型实际上是否看起来合理。对我来说，这似乎是一种合理的混合方法。

就我个人而言，我很难想到一种情况，在这种情况下，比起贝叶斯问题，更倾向于选择常问问题。关于此问题以及fharrell.com上其他博客文章中有关p值和无效假设检验的问题，我的想法得到了详细说明。经常有人倾向于忽略一些基本问题。这只是一个示例：

• 在具有恒定方差和其他一些情况的高斯线性模型之外，对于您的数据集和模型，所计算的p值的准确性未知
• 当实验是顺序实验或自适应实验时，通常情况下甚至无法计算p值，而只能设置一个整体级别才能达到$\alpha$
• 经常出现的问题似乎很高兴不要让I型错误降低到例如0.05，无论现在样本量如何增长
• 没有关于如何形成多重校正的常客主义处方，从而导致方法的特殊杂乱

关于第一点，一个常用的模型是二进制逻辑模型。它的对数可能性非常非二次方，并且针对此类模型计算的绝大多数置信度限制和p值都不十分准确。与贝叶斯逻辑模型相反，后者提供了精确的推论。

其他人则提到错误控制是使用频繁推断的原因。我不认为这是合乎逻辑的，因为他们所指的错误是长期错误，并设想了一个运行数千个统计测试的过程。法官说“我法庭上的长期错误定罪概率只有0.03”，应该予以驳回。她被指控为当前被告做出正确决定的可能性最大。另一方面，减去一个效应的后验概率是零概率或向后效应，这是我们实际需要的错误概率。

许多人似乎没有意识到第三种哲学流派：似然论。AWF爱德华兹（AWF Edwards）的《可能性》（Likelihood）可能是阅读该书的最佳场所。这是他写的一篇简短文章。
像贝叶斯主义那样，似然主义避开了p值，但也避开了贝叶斯通常令人怀疑的先验条件。有一个介绍的治疗在这里为好。

正如TrynnaDoStats在他的第一点中指出的那样，经常采用的方法进行建模的最大缺点之一一直是反转大型封闭式解决方案所面临的挑战。闭式矩阵求逆要求整个矩阵都驻留在RAM中，这对具有大量数据或大量分类特征的单个CPU平台是一个重大限制。贝叶斯方法已经能够通过模拟指定先验的随机抽签来解决此难题。尽管只有付出大量的CPU成本才能获得答案，但这一直是贝叶斯解决方案的最大卖点之一。

安德鲁·安斯利（Andrew Ainslie）和肯·特恩（Ken Train）在大约10年前的一篇论文中，我已经失去了参考，将有限混合（常用或封闭形式）与贝叶斯模型构建方法进行了比较，发现在广泛的功能形式中和性能指标，这两种方法的结果基本相同。在信息既稀疏又具有很高维度的情况下，贝叶斯解决方案具有优势或具有更大的灵活性。

但是，该论文是在开发使用大规模并行平台的“分而治之”算法之前撰写的，例如，有关此http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012-的更多信息，请参见Chen和Minge的论文。 01.pdf

D＆C方法的问世意味着，即使对于最毛茸茸，最稀疏，最大维度的问题，贝叶斯方法也不再具有优于频繁方法的优势。这两种方法是平价的。

这种相对较新的发展在有关这两种方法的实际优势或局限性的任何辩论中都值得注意。

经常性检验的重点是伪造原假设。但是，也可以从贝叶斯角度进行零假设意义检验（NHST），因为在所有情况下，NHST都只是P（观察到的效应|效应= 0）的计算。因此，很难从频繁主义者的角度确定何时进行NHST。

话虽这么说，使用常识性方法进行NHST的最佳论据是简便和可访问性。教会人们常识统计。因此，运行频繁的NHST更加容易，因为还有更多的统计软件包使执行此操作变得简单。同样，由于人们熟悉这种形式的NHST，因此更容易交流常客NHST的结果。因此，我认为这是频繁使用方法的最佳论据：可以访问将运行统计程序的统计程序，以及易于将结果传达给同事。但是，这只是文化性的，因此，如果常人主义的方法失去霸权，这种论点可能会改变。

几点评论：

• 贝叶斯统计学和常客统计学家之间的根本区别在于，贝叶斯愿意将概率工具扩展到常客不会的情况。

  • 更具体地说，贝叶斯愿意使用概率来模拟各种参数下她自己的不确定性。对于常客来说，这些参数是标量（尽管统计学家不知道真实值的标量）。对于贝叶斯，各种参数都表示为随机变量！这是完全不同的。贝叶斯参数谷的不确定性由一个先验表示。

• 在贝叶斯统计中，希望是在观察数据后，后验会淹没先验，先验无关紧要。但这通常并非如此：结果可能对优先级的选择很敏感！具有不同先验的不同贝叶斯不需要在后验上达成一致。

要记住的一个关键点是，常客统计学家的陈述是任何两个贝叶斯主义者都可以同意的陈述，而不管他们先前的信念如何！

该常客不评论先验或后继，仅评论可能性。

从某种意义上说，常客统计学家的陈述没有那么雄心勃勃，但是贝叶斯主义者的大胆陈述可以在很大程度上依靠先验的赋值。在先验很重要且先验存在分歧的情况下，频率论者统计的更为有限的条件陈述可能会站得更稳固。

大量研究的目的不是得出最终结论，而只是获得更多证据以逐步将社区的问题意识推向一个方向。

当您需要根据可用证据评估决策或结论时，贝叶斯统计量是必不可少的。没有贝叶斯统计，质量控制将是不可能的。贝叶斯统计数据可以使您需要获取一些数据然后对其采取行动的任何过程（机器人技术，机器学习，业务决策）。

但是许多研究人员并未这样做。他们正在进行一些实验，收集一些数据，然后说“数据指向这种方式”，而鉴于到目前为止其他人收集到的所有证据，他们并没有真正担心这是否是最好的结论。科学可能是一个缓慢的过程，诸如“此模型正确的概率为72％”之类的说法。通常为时过早或不必要。

这也适用于简单的数学方法，因为经常性统计数据经常在数学上与贝叶斯统计量的更新步骤相同。换句话说，尽管贝叶斯统计量是（先验模型，证据）→新模型，但是常客主义统计量只是证据，并将其留给其他人来填充其他两个部分。

贝叶斯方法的实际执行要比频率论者更实际。“更具技术性”的意思是：1）选择先验，2）在BUGS / JAGS / STAN中对模型进行编程，以及3）考虑采样和收敛。

显然，根据贝叶斯的定义，＃1几乎不是可选的。尽管存在一些问题和步骤，但还是可以采用合理的默认值，从而在某种程度上将问题隐藏在用户面前。（尽管这也会引起问题！）

＃2是否成为问题取决于您使用的软件。贝叶斯统计方法倾向于比一般统计方法更通用的解决方案，而BUGS，JAGS和STAN之类的工具自然是这种表达。但是，各种软件包中都有贝叶斯函数，它们看起来像典型的常客程序一样工作，因此这并不总是一个问题。（以及最近的解决方案，例如R软件包rstanarm，brms都在弥合这一差距。）不过，使用这些工具与使用新语言编程非常相似。

第3项通常适用，因为现实世界中的大多数贝叶斯应用程序都将使用MCMC采样。（另一方面，基于频繁出现的基于MLE的过程使用的优化可能会收敛到局部最小值或根本不会收敛，我想知道有多少用户应该对此进行检查，而不是进行检查？）

正如我在评论中说的那样，我不确定摆脱先验实际上是否是科学利益。在发布过程中的某些方面和某些方面，它当然很方便，但是我不确定它是否真正有助于更好的科学。（而且，从总体上看，我们所有人都必须意识到我们作为科学家的先验知识，否则，无论使用何种统计方法，我们的研究都会遭受各种偏见。）

从概念上讲：我不知道。我认为贝叶斯统计是最合乎逻辑的思维方式，但我不能证明原因。

常客的好处是，对于大多数初级水平的人来说，它更容易。但是对我来说，这很奇怪。我花了好几年才能真正从理智上弄清楚什么是置信区间。但是，当我开始面对实际情况时，常人主义的想法似乎很简单并且非常相关。

凭经验

如今，我试图重点关注的最重要问题是实用效率：个人工作时间，精度和计算速度。

个人工作时间：对于基本问题，我实际上几乎从未使用过贝叶斯方法：我使用基本的常客工具，并且总是喜欢t检验而不是贝叶斯等效方法，这只会让我头疼。当我想知道自己在tictactoe方面是否比我的女朋友明显好时，我做一个卡方:-)。实际上，即使在作为计算机科学家的严肃工作中，频繁使用的基本工具对于调查问题并避免由于随机产生的错误结论也是非常宝贵的。

精度：在机器学习中，预测比分析更重要，在贝叶斯和频繁主义者之间没有绝对界限。MLE是常客主义的推销者：只是一个估算器。但是正则化MLE（MAP）是部分贝叶斯方法：您找到后验模式，而无需关心其余的后验模式。我不知道为什么要使用正则化的常识性理由。实际上，有时正则化是不可避免的，因为原始MLE估计值过于拟合，以至于0将是更好的预测指标。如果正则化被认为是真正的贝叶斯方法，那么仅凭这一点就可以证明贝叶斯可以用更少的数据学习。

计算速度：频繁使用的方​​法通常在计算上更快且更易于实现。正则化以某种方式提供了一种便宜的方法，可以在其中引入一些贝叶斯。这可能是因为贝叶斯方法仍未达到最佳效果。例如，如今某些LDA实现速度很快。但是他们需要非常艰苦的工作。对于熵估计，最早的高级方法是贝叶斯方法。他们工作得很好，但是很快就发现了频繁使用的方​​法，并且花费了更少的时间...对于计算时间，通常使用频繁使用的方​​法显然更优越。如果您是贝叶斯主义者，那么将常客主义方法视为贝叶斯方法的近似并不是荒谬的。

一种特定的基于频率论的方法在本质上主导了任何贝叶斯方法的问题类型是M开放情况下的预测问题。

M开是什么意思？

M-open表示生成数据的真实模型不会出现在我们正在考虑的模型集中。例如，如果真正平均是二次的函数关系，但我们只考虑与车型平均的线性函数，我们是在M-开放的情况。换句话说，模型未指定会导致M-open情况。$y$$x$$x$

在大多数情况下，这对于贝叶斯分析是一个巨大的问题。我所了解的几乎所有理论都依赖于正确指定的模型。当然，作为重要的统计学家，我们应该认为我们的模型总是被错误指定。这是一个很大的问题；我们的大多数理论都基于正确的模型，但我们知道从来没有。基本上，我们只是希望我们的模型不太正确。

为什么频频方法能更好地处理此问题？

并非全部。例如，如果我们使用标准的MLE工具来创建标准错误或建立预测间隔，那么我们的状况不会比使用贝叶斯方法更好。

但是，有一种特定的Frequentist工具正是专门用于此目的的：交叉验证。在这里，为了估计我们的模型对新数据的预测能力，我们在拟合模型时只保留了部分数据，并测量了模型对看不见的数据的预测能力。

请注意，此方法与模型缺失指定完全矛盾，它仅提供一种方法供我们估算模型对新数据的预测程度，而无论模型是否“正确”。

我不认为这是太很难说，这确实改变了方法来预测模型是很难从贝叶斯的角度证明（之前应该看到数据之前，代表先验知识，似然函数的模型等），以一个从频率论者的角度来看，这很容易证明是正确的（我们选择模型+正则化参数，这些参数经过反复采样会导致最佳的样本误差）。

这彻底改变了预测推理的方式。我认为没有任何统计学家会（或至少应该）认真考虑未使用交叉验证构建或通过交叉验证检查的预测模型（例如，我们可以合理地假设观察结果是独立的，而不是试图考虑）采样偏差等）。