误解了P值?


16

因此,我已经阅读了很多有关如何正确解释P值的知识,从我读到的内容来看,P值对空假设为真还是假的可能性一无所知。但是,在阅读以下语句时:

p –值表示发生I型错误或在原假设为真时拒绝原假设的概率。p值越小,您错误地拒绝原假设的可能性就越小。

编辑:然后5分钟后,我读到:

对P值的错误解释非常普遍。最常见的错误是将P值解释为通过拒绝真实的零假设(I类错误)而犯错的可能性。

这让我感到困惑。哪一个是正确的?谁能解释如何正确解释p值,以及它如何正确地与产生I型错误的可能性相关联?


1
The p – value represents the probability of making a type I error, or rejecting the null hypothesis when it is truep –值表示发生I型错误的先验概率,即在假设为真的情况下拒绝原假设的概率。
ttnphns

4
@Paul:在null为真的情况下拒绝null的概率是I型错误的概率,这与p值不同。I型错误的概率(对于连续随机变量)等于所选的显着性水平,另请参见下面的答案。

是的,我现在知道,您绝对正确。
保罗

4
@fcoppens如果您以零假设为真为条件,则I类错误的概率仅等于选择的alpha级别。在无条件的情况下,您不知道null是否为true或false,因此,如果您为null的真值提供先验概率,则只能指定I型错误的概率。
Michael Lew-恢复莫妮卡

@Michael Lew:我在下面的答案中提到了对null的这种限制吗?

Answers:


25

由于您的评论,我将分为两个部分:

p值

在统计假设检验中,您可以找到替代假设的“统计证据” 。正如我在以下内容中所解释的,如果我们不能拒绝原假设呢?,它类似于数学中的“矛盾证明”。

因此,如果我们要查找“统计证据”,那么我们假设相反,我们将其表示为试图证明的称为。此后,我们绘制一个样本,并从该样本中计算出所谓的检验统计量(例如t检验中的t值)。1H0H1

然后,假设为真,并且样本是从下的分布中随机抽取的,则可以计算观察到的值超过或等于从(随机)样本派生的值概率。该概率称为p值。0H0H0

如果该值“足够小”,即小于我们选择的显着性水平,则我们拒绝并认为已被“统计证明”。1H0H1

这样做很重要:

  • 我们在假设为真的情况下得出了概率H0
  • 我们从假设的扰动中抽取了一个随机样本H0
  • 如果从随机样本得出的检验统计量被超过的可能性很小,我们决定找到证据。因此,在为true的情况下超过它是不可能的,在这些情况下,我们会产生I类错误。 0H1H0

那么,什么是I型错误:当从随机抽取的样本得出为假而实际上为,就会发生I型错误。0H0H0

请注意,这意味着p值不是I型错误的概率。确实,I型错误是测试的错误决定,该决定只能通过将p值与所选显着性水平进行比较来做出,仅凭p值就不能做出决定,只有在比较之后决策所选择的显着性水平的p值,并且只要没有决策就不会定义I型错误。

那么p值是多少?对的潜在错误拒绝是由于以下事实:我们在下绘制了一个随机样本,因此可能是通过抽取样本而我们有“厄运”,而这种“厄运”导致了错误拒绝。因此,p值(尽管这不是完全正确的)更像是得出“不良样本”的概率。p值的正确解释是,检验统计量超过或等于从下随机抽取的样本得出的检验统计量的值的概率H 0 H 0 H 0H0H0H0H0


错误发现率(FDR)

如上所述,每当无效假设被拒绝时,其视为 “统计证据” 。因此,我们发现了新的科学知识,因此称为发现。上面还解释了,当我们发生I型错误时,我们可能会做出错误的发现(即错误地拒绝)。在这种情况下,我们会错误地相信科学真理。我们只想发现真实的事物,因此我们试图将错误的发现保持在最低限度,即,一个人将控制I型错误。不难发现类型I错误的概率是所选的显着性水平。因此,为了控制I型错误,我们修复了一个ħ 0 α αH1H0αα反映您接受“虚假证据”的意愿。

直观地,这意味着如果我们抽取大量样本,并且对每个样本执行测试,那么这些测试的分数将导致错误的结论。重要的是要注意,我们正在“平均多个样本”;同样的测试,很多样本。 α

如果我们使用相同的样本进行许多不同的测试,那么我们将产生多重测试错误(请参阅我的家庭式错误边界分析:在独立研究的不同研究中重复使用数据集会导致多重测试问题吗?)。在那种情况下,可以使用控制家族误差率(FWER)的技术(例如Bonferroni校正来控制膨胀。α

FDDH0

因此,I型错误概率与对许多不同样本执行相同的测试有关。对于大量样本,I类错误概率将收敛到导致误剔除的样本数除以抽取的样本总数

H0

请注意,比较上面的两个段落:

  1. 上下文是不同的;一个测试和多个样本与许多测试和一个样本的对比。
  2. 计算I型错误概率的分母与计算FDR的分母明显不同。分子在某种程度上相似,但是具有不同的上下文。

H00.38×1000


5
The correct interpretation of the p-value is that it is the probability that the test-statistic exceeds the value of the test-statistic derived from a randomly drawn sample under H0是吗 是“等于或超过”吗?P值是在真实H0下我们观察到的差异或关联比实际观察到的强或更高的概率。
ttnphns

@ttnphns对于连续检验统计量,没有差异,因为点的度量为零。对于离散的测试统计,您是对的(+1)。我相应地更改了文本。

1
您在P值和I类错误率之间做出了非常有用的区分,但我认为您需要更加警惕“证明”一词。我认为,“统计地”添加修饰符并不能充分软化它。
Michael Lew-恢复莫妮卡2015年

1
您已经处理了证据,好像它只有一个二进制状态:存在和不存在。在对非统计证据的标准理解中,概念一词具有分级存在,并且比单个维度的强度可以捕获的复杂得多。困难来自错误率考虑因素与普通证据解释的不兼容。我会很感兴趣阅读任何在FDR框架内对“证据”进行非二进制解释的内容。(我还没有看到。)
迈克尔·卢(Michael Lew)-恢复莫妮卡(Monica

1
谢谢你的纠正。昨晚我进行了相关更改,并记下了您的帖子。
Antoni Parellada '02

4

第一个陈述并非严格正确。

摘自一篇关于重要性误解的漂亮论文:(http://myweb.brooklyn.liu.edu/cortiz/PDF%20Files/Misinterpretations%20of%20Significance.pdf

“ [此陈述]看起来与类型I错误的定义类似(即,尽管事实上是真的,但拒绝H0的概率),但是实际上拒绝了H0后,当且仅当H0是正确的,因此“您做出错误决定”的概率为p(H0),并且该概率...无法通过无效假设显着性检验得出。”

更简单地说,为了评估您错误地拒绝了H0的概率,您需要H0为真的概率,而使用此测试则无法获得。


谢谢!因此,当我阅读statisticsdonewrong.com/p-value.html的第一部分时,作者得出的结论是FDR为38%,因此发生I型错误的可能性为38%?
rb612

FDR是错误发现率,与I类错误有很大的不同,因此您的问题的答案为否。FDR与多项测试有关,即,当您对同一样本执行多项测试时,请参阅stats.stackexchange.com/questions/164181/…。FDR是“家庭错误率”的替代方法,但是要说明注释中的字符数太有限。

我在回答中添加了第二部分来解释FDR。

1
正如无法在没有先验的情况下确定H0为真的可能性一样,在没有先验的情况下也无法确定FDR。在解释FDR论文时要小心,因为其中使用的先验可能不一定与您自己的实验环境有关。
Michael Lew-恢复莫妮卡2015年

1

p值的正确解释是假设无效假设为true时,结果至少与观察值一样对备选假设具有传导性的条件概率(至少作为“极端”)。错误的解释通常涉及边际概率或条件的转换:

p-value=P(At least as extreme as observed outcome|H0)P(Type I error).

-1

p值使我们能够确定是否可以拒绝原假设(或所主张的假设)。如果p值小于显着性水平α,则这表示统计上显着的结果,应拒绝零假设。如果p值大于显着性水平α,则原假设不能被拒绝。这是在使用表格或使用在线计算器(例如p值计算器)时从p值中查找p值的全部原因,以便从测试统计信息中查找p值。

现在我知道您提到了I型和II型错误。这实际上与p值无关。这与原始数据有关,例如使用的样本量和为数据获取的值。例如,如果样本大小太小,则可能导致I型错误。


2
-1。很抱歉欢迎您以低票通过我们的网站,但是这个答案显然是错误的:p值不是零假设的真实概率的情况并非如此。关于p值和假设检验的许多主题对此进行了充分讨论,例如stats.stackexchange.com/questions/31
ub

1
我对原始答案做了一些修改,以使其更加精确。
user1445657
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.