14

因此，这可能是一个常见问题，但我从未找到令人满意的答案。

您如何确定原假设为真（或假）的概率？

假设您给学生提供了两种不同的测试版本，并且想要查看这些版本是否等效。您执行t检验，其p值为.02。多么好的p值！那一定意味着测试不可能等效，对吗？不会。不幸的是，看来P（results | null）不能告诉您P（null | results）。正常的做法是在遇到低p值时拒绝原假设，但是我们如何知道我们并未拒绝很可能是真的原假设呢？举一个愚蠢的例子，我可以设计一个误报率为0.02的埃博拉病毒测试：将50个球装进一个桶中，并在上面写下“埃博拉病毒”。如果我对此进行测试，然后他们选择“埃博拉”球，则p值（P（捡起球|他们没有埃博拉））为.02，

到目前为止，我已经考虑过的事情：

假设P（null | results）〜= P（results | null）–对于某些重要应用显然是错误的。
在不知道P（null |结果）的情况下接受或拒绝假设–那么我们为什么接受或拒绝它们呢？难道我们不是要拒绝我们认为是假的而是接受是假的全部吗？
使用贝叶斯定理–但是您如何获得先验？您是否最终还是回到原地试图通过实验确定它们？先验地挑选他们似乎很武断。
我在这里发现了一个非常类似的问题：stats.stackexchange.com/questions/231580/。这里的一个答案似乎基本上是在说，因为这是贝叶斯问题，所以问零假设为真的可能性是没有意义的。也许我的心是贝叶斯，但我无法想象不问这个问题。实际上，p值最常见的误解似乎是它们是真实零假设的概率。如果您真的不能作为常客问这个问题，那么我的主要问题是＃3：如何在不陷入困境的情况下获得先验知识？

编辑：感谢您的所有周到的答复。我想谈谈几个共同的主题。

概率的定义：我肯定对此有很多文献，但是我的幼稚概念是“相信完全理性的人会提供信息”或“在这种情况下能使利润最大化的下注几率”被重复，未知数被允许改变”。
我们可以知道P（H0 |结果）吗？当然，这似乎是一个棘手的问题。但是我相信，每个概率在理论上都是可以理解的，因为概率总是以给定信息为条件。每个事件都会发生或不会发生，因此没有完整的信息就不存在概率。它仅在没有足够信息时存在，因此应该是可知的。例如，如果我被告知某人有一个硬币，并询问正面的概率，我会说是50％。可能硬币的正面重量为70％，但我没有得到该信息，所以我所拥有的信息的概率为50％，就像它碰巧掉在地上一样，概率为70％当我知道这一点。由于概率总是以一组（不足的）数据为条件，
编辑：“总是”可能太强了。可能存在一些我们无法确定概率的哲学问题。尽管如此，在现实世界中，尽管我们可以“几乎永远”拥有绝对的确定性，但“几乎总是”应该是一个最佳估计。

probability hypothesis-testing bayesian

— 卡列夫·马里克（Kalev Maricq）
source

1

如果您的“零假设”类似于

，即某个差为零，那么拒绝它意味着您已找到足够有力的证据证明

。您可以改为使用诸如

假设

，就是有些差至少是一样大的

（其中

是什么研究者认为他们所关心的最小差额），以及您发现排斥装置

H_{0} : θ = 0

$H_{0}: \theta = 0$

H_{A} : θ = 0

$H_{A}: \theta = 0$

H_{0} : | θ | \geq Δ

$H_{0}: |\theta| \ge \Delta$

Δ

$\Delta$

Δ

$\Delta$

（即

）。参见等效性测试stats.stackexchange.com/tags/tost/info

H_{A} : | θ | < Δ

$H_{A}: |\theta| < \Delta$

- Δ < θ < Δ

$-\Delta < \theta < \Delta$

— Alexis

实验（以及用于分析实验结果的统计测试）的功能是，如果存在给定大小或更大的影响，则该实验将在给定的显着性阈值下检测到它的可能性。statisticsdonewrong.com/power.html

— 贝内特·布朗

看到stats.stackexchange.com/questions/166323/...

您的硬币示例就是一个很好的例子。它表明，仅知道结果并且不作进一步假设，就永远不会知道P（H0 | results）。您是否知道在给定的掷骰中“假设”硬币具有一定公平性的正面概率？是。（但这是假设的，考虑到假设，您将永远不知道假设是否成立。）在知道许多先前的结果的同时，您是否知道在给定投掷中前进的概率。没有！而且您知道之前有多少结果都没有关系。您无法确切知道下一次掷骰的概率。

— Sextus Empiricus

13

您当然已经确定了一个重要问题，贝叶斯主义是解决该问题的一种尝试。如果愿意，您可以选择不具信息性的优先事项。我将让其他人更多地了解贝叶斯方法。

然而，在绝大多数情况，你知道null在总体中为假，您只是不知道影响有多大。例如，如果您构成一个完全荒谬的假设（例如，一个人的体重与他们的SSN是奇数还是偶数有关），并且您设法以某种方式从整个人群中获得准确的信息，则这两种方法将不完全相同。它们（可能）相差不大，但并不完全匹配。如果走这条路线，您将不重视p值和显着性检验，而将更多时间花在估计效应量及其准确性上。因此，如果您的样本量很大，可能会发现SSN奇数的人比SSN偶数的人重0.001磅，并且此估计的标准误差为0.000001磅，因此p <0.05，但没有人关心。

— 彼得·弗洛姆-恢复莫妮卡
source

1

并不是说我不同意您的看法，但您不认为当他担心p（data | H0）或p（H0 | data）时，他是在谈论低

研究。在贝叶斯框架和常客框架中，您给出的示例都很容易，因为鉴于大量数据，它们各自的弱点/主观性并不重要。在这种情况下，您仍然会犯的唯一错误是将重要性与效果大小混淆。

n

$n$

— 大卫·恩斯特

1

关于效果大小的要点。是否有类似疾病测试之类的情况的模拟物，其中的问题本质上是布尔值？

— Kalev Maricq

1

FWIW，我非常愿意相信一个人的体重与他们的SSN是奇数还是偶数之间没有关系。在一项观察性研究中，这些变量将与一些其他变量等相关联，以致最终存在非零边际关联。我认为正确的一点是，对于大多数研究人员来说，他们都花时间进行调查，有一些充分的理由怀疑确实存在非零效应。

— gung-恢复莫妮卡

1

@gung您可以相信您想要的任何东西，但是重量和SSN之间肯定存在非零关系。除了关系的存在以外，我们确实对关系有更多了解，并且关系可能很小。

— Emory

1

我知道体重是一个连续变量。尽管我们可能将其记录为整数千克。您的评论是关于一项观察性研究的（基于样本得出有关人口的推论）。由于我的研究是由假设的美元资助的，因此它是使用无限精度标度的人口研究-无需统计推断。

— Emory

3

为了回答这个问题，您需要定义概率。这是因为零假设要么为真（除了当您考虑点零假设时几乎都不是），要么为假。一个定义是，我的概率描述了我的个人信念，即我的数据来自该假设的可能性与我的数据来自我正在考虑的其他假设的可能性相比。如果您从此框架开始，那么您的先验只是您基于所有先前信息的信念，但不包括手头的数据。

— 贾拉德涅米
source

好点子。我认为我对概率的想法类似于“完全理性的信念”，而不是我个人的想法。我编辑了问题以解决您的观点。

— Kalev Maricq

2

关键的想法是，从广义上讲，您可以凭经验证明某些事情是错误的（仅提供一个反例），但是您不能证明某件事确实是正确的（您需要测试“一切”以表明没有反例）。

可证伪性是科学方法的基础：您假设一个理论是正确的，然后将其预测与您在现实世界中观察到的相比较（例如，Netwon的引力理论被认为是“真实的”，直到发现它确实存在）在极端情况下效果不佳）。

这也发生在假设检验中：当P（results | null）低时，数据与理论相矛盾（或者您很不幸），因此拒绝原假设是有意义的。实际上，假设null为真，则P（null）= P（null | results）= 1，因此P（results | null）低的唯一方法是P（results）低（艰难的运气）。

另一方面，当P（结果）为高时，谁知道。也许null为false，但是P（result）高，在这种情况下，除了设计更好的实验之外，您什么也做不了。

让我重申：您只能证明原假设（可能）是错误的。因此，我想说的答案是第二点的一半：当P（results | null）为低时，您不需要知道P（null | results）就可以拒绝null，但是您不能说null是真的P （结果）为高。

这也是为什么可重复性非常重要的原因：五分之五的不幸是令人怀疑的。

— 黑色的熊
source

H_{0} :

$H_0:$

H_{a l t e r n a t i v e} :

$H_{alternative}:$

我同意马丁（Martijn）。如果您能告诉我如何确定原假设为假的概率，那么我认为这是对我的问题的成功答案。

— Kalev Maricq

μ_{1000}

$\mu_{1000}$

P (μ_{1000} = 3.50)

$P(\mu_{1000}=3.50)$

2

-------------------------------------------------- ---------------------

（编辑：我认为将我对此问题的评论版本放在此答案的顶部非常有用，因为它要短得多）

当将p（a | b）视为因果关系时，便会进行p（a | b）的非对称计算，如p（结果）。此计算不能同时在两个方向上起作用：假设导致可能结果的分布，但结果不会导致假设的分布。

P（结果）是基于因果关系假设->结果的理论值。

如果p（a | b）表示相关性或观察到的频率（不一定是因果关系），则它变得对称。例如，如果我们在权变表中写下运动队的获胜/失败次数以及运动队得分小于或等于/大于2个目标的游戏数。那么P（win | score> 2）和P（score> 2 | win）是相似的实验/观察（不是理论）对象。

-------------------------------------------------- -------------------

很简单

表达式P（result | thepothesis）看起来是如此简单，以至于人们容易想到您可以简单地颠倒这些术语。但是，“结果”是具有概率分布（根据假设）的随机变量。而且，“假设”（通常）不是随机变量。如果我们将“假设”设为随机变量，则它暗示着不同可能假设的概率分布，就像我们拥有不同结果的概率分布一样。（但是结果并没有给我们这种假设的概率分布，只是通过贝叶斯定理改变了分布）

一个例子

假设您有一个比率为50/50的带有红色/蓝色大理石的花瓶，您将在其中绘制10个大理石。然后，您可以轻松表达P（结果实验）之类的东西，但是表达P（结果实验）几乎没有意义。结果（单独）不是不同可能的花瓶实验的概率分布。

如果您有多种可能的花瓶实验类型，那么在这种情况下，可以使用诸如P（花瓶实验类型）之类的表述，并使用贝叶斯规则来获得P（花瓶实验类型），因为现在的类型花瓶实验是一个随机变量。（注：更确切地说是P（花瓶实验的类型|结果与花瓶实验的类型的分布））

但是，该P（花瓶实验的类型）需要关于给定的初始分布P（花瓶实验的类型）的（元）假设。

直觉

也许下面的表达式有助于理解一个方向

X）给出关于X的假设，我们可以表达X的概率。

从而

1）在给出关于结果的假设的情况下，我们可以表达结果的可能性。

和

2）在关于这些假设的（元）假设下，我们可以表达假设的可能性。

正是贝叶斯规则允许我们表达（1）的逆，但为此我们需要（2），假设必须是一个随机变量。

拒绝作为解决方案

因此，给定结果，我们无法获得假设的绝对概率。那是生活中的事实，与这个事实作斗争似乎是找不到令人满意的答案的根源。找到满意答案的解决方案是：接受您无法获得假设的（绝对）概率。

常客

与不能接受假设的方式相同，当P（结果）接近零时，我们都不应该（自动）拒绝假设。它仅意味着有证据支持我们信念的改变，而我们如何表达新信念也取决于P（结果）和P（假设）。

如果常客有一些拒绝方案，那很好。他们所表达的不是假设是对还是错，也不是这种情况的可能性。他们无法做到（没有先验条件）。相反，他们所表达的是关于他们方法的失败率（置信度）的信息（假设某些假设是正确的）。

无所不知

解决所有这些问题的一种方法是消除概率的概念。如果您在花瓶中观察到全部100颗大理石，那么您可以表达有关假设的某些陈述。因此，如果您无所不知，并且概率的概念无关紧要，则可以说明假设是否成立（尽管概率也不在等式）

— 天性
source

您的花瓶示例很有道理。但是，在现实生活中，我们几乎永远不知道花瓶中每种颜色有多少个大理石。我总是觉得自己的问题更像是“红色大理石比蓝色多”，我的数据是我从花瓶中抽出了4个红色大理石和1个蓝色大理石。现在，我可以做一些假设，例如“大约有100个大理石，每个大理石都是红色或蓝色，概率为50％”，但是在现实生活中，我经常迷失于如何非随意地，非圆形地获取这些先验。

— Kalev Maricq

与其说是关于概率的问题，倒不如说是认识论上的问题。类似P（结果）的表达式是类似的“假”，我的意思是，它是一个假设表达式。给定某种关于“现实”的假设信念，您可以表达得出结果的可能性。就像假设实验结果的概率是一样的，某种理论的概率表达式（有或没有对结果的某种观察）也需要对“现实性”有一定的假设信念。是的，先验在某种程度上是任意的。但是假说也是如此。

— Sextus Empiricus

谈论概率。注意，贝叶斯规则是关于两个随机变量的：P（a | b）P（b）= P（b | a）P（a）。您可以关联条件概率。如果这些P（b | a）之一是因果关系关系，如“理论导致结果的分布”中所述，则可以精确地计算它。这种情况仅是因为（1向）因果关系。该假设可以让您知道（假设）花瓶中的大理石的一切。反之，则行不通。实验结果4红色vs 1蓝色不会导致花瓶中弹珠的概率分布。

— Sextus Empiricus

零假设为真的概率

-------------------------------------------------- ---------------------

-------------------------------------------------- -------------------

很简单

一个例子

直觉

拒绝作为解决方案

常客

无所不知