使用p值计算假设为真的可能性；还需要什么？

题：

对p值的一个普遍误解是，它们代表原假设为真的概率。我知道这是不正确的，并且我知道p值仅代表找到样本的可能性，因为原假设是真的。但是，从直觉上讲，一个人应该能够从后者派生第一个。没有人这样做，一定有原因。我们缺少哪些信息，这些信息限制了我们从p值和相关数据得出假设成立的可能性？

---

例：

我们的假设是“维生素D影响情绪”（无效假设是“无效”）。假设我们对1000人进行了适当的统计研究，发现情绪与维生素水平之间存在相关性。在所有其他条件相同的情况下，p值0.01表示真实假设的可能性比p值0.05更高。假设我们得到的p值为0.05。为什么我们不能计算假设为真的实际概率？我们缺少什么信息？

---

常客统计学家的备用术语：

如果您接受我的问题的前提，则可以在这里停止阅读。以下内容适用于拒绝接受假设可以进行概率解释的人们。让我们暂时忘记术语。代替...

假设您与朋友下注。您的朋友向您展示了有关无关主题的一千项统计研究。对于每个研究，您只能查看p值，样本大小和样本的标准偏差。对于每项研究，您的朋友都会给您提供一定的机会来打赌研究中提出的假设是正确的。您可以选择下注或不下注。在为所有1000项研究下注后，一个先知会升华，并告诉您哪个假设是正确的。此信息使您可以下注。我的主张是该游戏存在最佳策略。在我的世界观中，这相当于知道假设为真的概率，但是如果我们不同意，那就很好。在那种情况下，我们可以简单地讨论采用p值以最大程度地期望下注的方法。

其他答案全是哲学性的，但是我不明白为什么这里需要它。让我们考虑您的示例：

我们的假设是“维生素D影响情绪”（无效假设是“无效”）。假设我们对1000人进行了适当的统计研究，发现情绪与维生素水平之间存在相关性。在所有其他条件相同的情况下，p值0.01表示真实假设的可能性比p值0.05更高。假设我们得到的p值为0.05。为什么我们不能计算假设为真的实际概率？我们缺少什么信息？

对于，得到p = 0.05对应于样本相关系数ρ = 0.062。零假设是H 0：ρ = 0。替代假设为H 1：ρ ≠ 0。$n=1000$$p=0.05$$\hat \rho=0.062$$H_0: \rho=0$$H_1: \rho\ne 0$

p值是并且我们可以基于抽样分布计算它 ρ空下; 不需要其他任何东西。

$$p\text{-value} = P\big(|\hat\rho|\ge 0.062 \;\big|\; \rho=0\big),$$ $\hat\rho$

您要计算

$$P(H_0\;|\;\text{data})=P\big(\rho=0\;\big|\; \hat\rho= 0.062\big),$$

为此，您需要一整堆其他成分。实际上，通过应用贝叶斯定理，我们可以将其重写如下：

$$\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)}{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)+P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big) \cdot (1-P(\rho=0))}.$$

因此，要计算空值的后验概率，您需要另外做两件事：

1. 在原假设为真之前：。$P(\rho=0)$
2. 如果替代假设成立，则关于分布的假设。这是必要的，以计算P （ρ = $\rho$项。$P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)$

如果您愿意假设 ---即使我个人不确定为什么这应该是一个有意义的假设，---您仍然需要假设ρ的分布。在这种情况下，您将能够计算出称为贝叶斯因子的值：$P(\rho=0)=0.5$$\rho$

$$B=\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) }{P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)}.$$

正如你看到的，贝叶斯因子并没有依赖于零的先验概率，但是它不依赖于先验概率（替代下）。$\rho$

[请注意，因为相等而不是不等号，所以贝叶斯因子中的提名人不是p值。因此，在计算贝叶斯因数或我们根本没有使用p值本身。但是，我们当然是采用抽样分布P （$P(H_0)$。]$P(\hat\rho\;|\;\rho=0)$

奎斯特est veritas？

我可以像原始海报一样接受@amoeba的回答。但是，我告诫我，在我的所有工作中，我都没有遇到过贝叶斯分析，该分析计算出“原假设成立的概率”。这样的结论将引起评论您作品的人们的大量争论！从哲学上讲让我们回到一个问题：“真相是什么？” 甚至为了证明自己，也许“真相”是无可辩驳的。统计学是量化不确定性的科学工具。我仍然坚持认为，尽管证据可以强有力地指出一个事实，但始终存在错误的肯定结论的风险，好统计师应报告这种风险。即使在贝叶斯决策理论检验中，也会给出决策规则，以便我们可以接受或拒绝基于与大致成比例的贝叶斯因子的假设，但是即使我们做出决策，我们的信念也永远不会为1或0是。决策理论为我们提供了一种以部分知识“前进”并接受这些风险的方法。$Pr(H_0 | X)$$1$$0$

零假设统计检验（NHST）和值的部分依据是卡尔·波普尔（Karl Popper）的证伪哲学。在这种情况下：一个关键的假设是“真相”是未知的，我们只能减少其他假设。一个有趣的和NHST的一个有效的批评是，你不得不做出荒谬的假设，比如，抽烟不能当你在一个描述性的（不是推理）的研究真正感兴趣引发癌症：和你只是描述了如何多的癌症吸烟会导致。$p$

相反的批评已经应用于贝叶斯研究中，在这些研究中您可以自由地应用先验：丹尼斯·林德利说：“将月亮由奶酪制成的先验概率为0，用满满奶酪的武器返回的宇航员仍然无法说服。”

确定零假设是否为真的缺失信息是关于零假设是否为真的知识。具有讽刺意味的是，当我们专注于描述性统计时，我们可以接受可能的影响范围，并且可以得出有力的结论，即趋势可能是正确的：但是统计检验并不能使我们得出这样的发现。即使在贝叶斯推断中，没有任何数据也不会导致单一的后验而没有一些方法上的问题，因此并入先验不能解决这个问题。

贝叶斯（Bayesian）和基准（Fiducial）有两种尝试完全按照您在统计历史中所说的做。RA Fisher创立了两个统计思维学派，即以最大可能性法和基准法为基础的似然法学派，以失败告终，但它试图完全按照自己的意愿去做。

关于它为什么失败的简短答案是它的概率分布最终没有整合为一体。最后的教训是，先验概率是必须创建要尝试创建的东西的必要条件。的确，您正沿着历史上最伟大的统计学家之一的道路前进，而其他许多伟大的伟大人物也死了，希望能解决这个问题。如果找到，就可以将零假设方法与贝叶斯方法放在同等程度上，将其视为可以解决的问题的类型。的确，除非存在真正的先验信息，否则它将超越贝叶斯。

您还需要注意，p值表示替代方法的可能性更高。这仅在渔夫似然学校中才是正确的。在皮尔逊-奈曼（Pearson-Neyman）频率派学校中，这根本不是真的。您底部的赌注似乎是Pearson-Neyman赌注，而您的p值不兼容，因为它来自Fisherian学校。

出于慈善目的，我将假设您的示例不存在出版偏见，因此在期刊中仅出现显着结果，从而导致较高的虚假发现率。我将其视为所有研究的随机样本，无论结果如何。我认为您的投注赔率在古典的de Finetti这个词意义上是不一致的。

在de Finetti的世界中，如果赌徒不能被玩家玩，那么赌注是连贯的，因此他们肯定会输掉。在最简单的结构中，就像解决切蛋糕的问题一样。一个人将一块切成两半，而另一个人选择他们想要的一块。在这种结构中，一个人会在每个假设上说明下注的价格，但另一人会选择购买或出售该下注。本质上，您可以卖空。为了达到最佳，赔率必须严格公平。P值不会导致公平的赔率。

为了说明这一点，请考虑Wetzels等人的研究，网址为http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf

被引用为：Ruud Wetzels，Dora Matzke，Michael D. Lee，Jeffrey N. Rounder，Geoffrey J. Iverson和Eric-Jan Wagenmakers。实验心理学的统计证据：使用855 t检验的经验比较。心理科学观点。6（3）291-298。2011年

这是对使用Bayes因子绕过先验分布问题的855个t检验的直接比较。在.05和.01之间的p值的70％中，贝叶斯因子充其量是轶事。这是由于频繁使用的数学形式来解决问题。

空假设方法假定模型是真实的，并且通过构造使用最小极大统计分布而不是概率分布。这两个因素都会影响贝叶斯解决方案与非贝叶斯解决方案之间的差异。考虑一项研究，其中贝叶斯方法将假设的后验概率评估为3％。想象一下，p值小于5％。两者都是正确的，因为百分之三小于百分之五。但是，p值不是概率。它仅说明最大值，该最大值可能是查看数据的概率，而不是假设为真或为假的实际概率。的确，在p值构造下，您无法区分由于偶然带来的影响，即带有真null的机会和带有良好数据的false null。

如果您查看Wetzel研究，您会注意到，很明显p值所隐含的几率与贝叶斯度量所隐含的几率不匹配。由于贝叶斯度量既是可容许的又是连贯的，而非贝叶斯的度量不是连贯的，因此假设p值映射到真实概率是不安全的。强制假定null为有效将提供不错的覆盖率，但不会产生不错的赌博机率。

为了更好地理解原因，请考虑考克斯的第一个公理，即假设的真实性可以用实数描述。隐含地，这意味着所有假设都有与其真实性相关的实数。在零假设方法中，只有零具有与真实性相关的实数。替代假设没有进行度量，并且在无效为真的情况下，它当然不是观察数据概率的补充。确实，如果null为true，则补全在不考虑数据的前提下为false。

如果您使用p值作为测量的基础来构建概率，那么使用贝叶斯测量的贝叶斯方法将始终能够比您获得优势。如果贝叶斯定下赔率，则皮尔森和内曼决策理论将提供下注或不下注的陈述，但他们将无法定义下注的金额。由于贝叶斯赔率是公平的，因此使用Pearson和Neyman方法的预期收益将为零。

确实，Wetzel研究确实是您正在谈论的事情，但减少了145次下注。如果看表三，您会看到一些研究，其中频发主义者拒绝零值，但是贝叶斯方法发现概率偏爱零值。

频繁分析无法给您特定假设为真（或为假）的概率，因为该假设没有长期运行的频率（它为真或不是），因此我们无法为其分配概率（也许为0或1 ）。如果您想知道某个特定假设成立的概率，则需要采用贝叶斯框架（在简单的情况下，我们只需考虑先验概率等）。

惯常论者可以找到针对零假设检验（Neyman-Pearson框架）采取行动的最佳策略，但他们不能将其转化为假设成立的可能性，而仅仅是因为它们定义了概率。

在为所有1000项研究下注后，一个先知会升华，并告诉您哪个假设是正确的。此信息使您可以下注。我的主张是存在针对该游戏的最佳策略。

安装程序中的问题是Oracle。通常不会下注。假设您打赌吸烟确实致癌的可能性为97％。该甲骨文何时会下注？决不。那么您将如何证明您的最优策略是最优的？

但是，如果删除Oracle，并引入其他代理（例如竞争对手和客户），则将有一个最佳策略。不过，恐怕它不会基于p值。这将更类似于Gosset的损失函数方法。例如，您和您的农业竞争者押注天气预报是真实的。谁选择更好的策略，谁就会赚更多的钱。甲骨文没有必要，赌注都落在了市场上。您不能在此处基于p值制定策略，必须以美元计入损失和利润。

$H_0: \mu_L=1.75$$H_1: \mu_L \ne 1.75$

$H_0$$P(H_0=TRUE)$

$H_0$

有关p值的线程，请参见误解P值？

$H_0$$H_0$

以您为例，您测试“$H_0:$$H_1:$

$H_0$$H_0$

$H_0$$H_0$$H_1$

$H_0$$H_0$ 是真的还是 $H_1$ 是正确的，但是使用数据，他们可以表达自己的信念程度（从数据得出） $H_0$ 是真的。

他们称此为“假设的可信度”，但并未说明 $H_0$ 是真的（也没有关于 $H_1$ 是真的）

他们只是表达对“可用数据”得出的“测试结论”的信念。