较小的p值是否更有说服力？

我一直在阅读，1型错误率，显着性水平，功效计算，效应大小以及Fisher与Neyman-Pearson的争论。这让我感到有些不知所措。我为案文感到抱歉，但是在继续讨论实际问题之前，有必要概述一下我对这些概念的当前理解。$p$

根据我收集到的信息，值只是惊喜的度量，假定原假设为真，则获得结果的可能性至少为极端。费舍尔原本打算将其作为一项连续措施。$p$

在Neyman-Pearson框架中，您预先选择一个重要级别，并将其用作（任意）截止点。显着性级别等于1类错误率。它由长期运行频率定义，即，如果您要重复进行1000次实验，并且原假设为真，那么由于采样的可变性，其中约有50个实验会产生显着效果。通过选择显着性水平，我们以一定的概率防范这些误报。传统上，不会出现在此框架中。$P$

如果我们发现一个的0.01 -值但这并不意味着1型错误率是0.01，1型错误陈述先验的。我相信这是Fisher与NP辩论中的主要论据之一，因为通常报告为0.05 *，0.01 **，0.001 ***。这可能会误导人们说效果是在某个p值而不是某个显着性值上显着的。$p$$p$$p$

我还意识到$p$值是样本大小的函数。因此，它不能用作绝对测量。较小的$p$值可能表示在大型样品实验中产生较小的无关影响。为了解决这个问题，在确定实验的样本量时执行功效/效应量计算很重要。$P$告诉我们是否有影响，而不是影响有多大。参见Sullivan 2012。

我的问题： 我该如何调和$p$值是一种惊喜度量（更小=更具说服力），同时又不能将其视为绝对度量的事实？

我感到困惑的是：我们能否对小$p$值比大p值更有信心？从渔业的角度来说，我会说是的，我们感到更加惊讶。在NP框架中，选择较小的显着性水平意味着我们将更加严格地防范误报。

但另一方面，$p$取决于样本量。它们不是绝对的措施。因此，我们不能简单地说0.001593 比0.0439 有意义。然而，这在费舍尔的框架中将隐含着这样的含义：我们会对如此极端的价值感到惊讶。甚至有关于“ 高度重要 ”一词用词错误的讨论：将结果称为“高度重要”是否错误？

我听说，某些科学领域的$p$仅在小于0.0001时才被认为是重要的，而在其他领域，大约0.01的值已经被认为具有很高的意义。

相关问题：

• Fisher和Neyman-Pearson方法之间进行统计测试的“混合”真的是“不连贯的杂烩”吗？

• 何时使用Fisher和Neyman-Pearson框架？

• “ p值”的确切值是否没有意义？

• 与I型错误有关的p值的频繁属性

• 置信区间与P值的两种平均值

• 为什么较低的p值不能提供更多的证据来证明原值？Johansson 2011的论点（由@amoeba提供）

较小的是否“更有说服力”？是的，他们当然是。$p$

在Fisher框架中，值是针对原假设的证据数量的量化。证据或多或少有说服力。p值越小，则越有说服力。请注意，在任何给定的具有固定样本大小n的实验中，p值都与效果大小单调相关，如@Scortchi在其答案（+1）中很好地指出。因此，较小的p值对应较大的效果大小；当然，它们更令人信服！$p$$p$$n$$p$$p$

在Neyman-Pearson框架中，目标是获得一个二元决策：证据是“重要的”还是没有证据。通过选择阈值，我们保证不超过α个误报。请注意，在查看相同数据时，不同的人可能会想到不同的α。也许当我从一个我怀疑的领域读过一篇论文时，即使作者确实称其为“有意义”，我个人也不认为p = 0.03是“显着”的结果。我的个人α可能设置为0.001左右。显然，报告的p越低$\alpha$$\alpha$$\alpha$$p=0.03$$\alpha$$0.001$$p$值，更怀疑的读者将能够说服！因此，再次，较低的更具说服力。$p$

当前的标准做法是将Fisher和Neyman-Pearson方法结合起来：如果，则结果称为“显着”，并且[准确或近似地]报告了p值，并将其用作令人信服的量度（通过将其标记为带有星星，使用“高度有意义”的表达方式，等等）；如果p > α，则结果称为“不重要”，仅此而已。$p<\alpha$$p$$p>\alpha$

这通常被称为“混合方法”，实际上是混合的。有人认为这种混合是不连贯的。我倾向于不同意。为什么同时做两个有效的事情是无效的？

进一步阅读：

• Fisher和Neyman-Pearson方法之间进行统计测试的“混合”真的是“不连贯的杂烩”吗？-我的“混合动力”问题。它引起了一些讨论，但我对任何答案仍然不满意，并计划在某个时候回到那个话题。

• 将结果称为“高度重要”是错误的吗？-请参阅我昨天的回答，它实际上是在说：没错（但可能有点草率）。

• 为什么较低的p值不能提供更多的证据来证明原值？Johansson 2011的论点 -反费舍尔论文的一个例子，论证不能提供针对零值的证据；@Momo的最高答案在揭穿论点方面做得很好。我对标题问题的回答是：当然可以。$p$

我不知道较小的p值“更好”，或者我们对它们“更自信”是什么意思。但是，如果我们相信原假设，那么以p值作为衡量我们应该对数据感到惊讶的程度似乎很合理；p值是您选择的测试统计量的单调函数可以在您感兴趣的方向上测量零假设的差异，并根据相关的抽样程序或随机分配的实验处理方法，针对其性质对其进行校准。“重要性”已成为一个技术术语，是指p值高于或低于某些指定值；因此，即使是那些对指定显着性水平以及不接受或拒绝假设都不感兴趣的人，也倾向于避免使用诸如“高度重要”之类的短语-仅仅是遵守惯例。

关于p值对样本量和效应量的依赖性，可能会引起一些混淆，因为例如，对于认为硬币很公平的人来说，似乎每1000掷中有474头比10便有2头更令人惊讶在前一种情况下，样本比例仅与50％略有差异-但p值大致相同。但是，对与错都不承认学位。p值正在执行要求的工作：通常，参数的置信区间实际上是要评估效果的精确程度及其估计大小的实际或理论重要性的条件。

感谢您的评论和建议的阅读。我还有更多时间来思考这个问题，我相信我已经设法隔离了我的主要困惑来源。

• 最初，我认为将p值视为惊喜度量与声明这不是绝对度量之间存在二分法。现在，我意识到这些陈述不一定彼此矛盾。与同一实验的其他假设结果相比，前者使我们对观察到的效果的极端性（甚至不相似？）充满信心。后者仅告诉我们在一个实验中可能被认为具有说服力的p值，而在另一个实验中可能根本不令人印象深刻，例如，如果样本大小不同。

• 某些科学领域利用强p值的不同基线这一事实可能反映了常见样本数量（天文学，临床，心理实验）的差异和/或试图在p值中传达效应量值。但是后者是两者的错误合并。

• 重要性是根据实验前选择的Alpha进行的是/否问题。因此，p值不能小于另一个p值，因为它们小于或大于所选的显着性水平。另一方面，较小的p值将比较大的p值更具说服力（对于相似的样本量/相同的实验，正如我在第一点中提到的）。

• 置信区间固有地传达了效果大小，使它们成为防范上述问题的理想选择。

p值不能表示惊讶，因为它仅是null为真时的概率度量。如果null为true，则p的每个可能值都是相同的。在决定拒绝null之前，您不会对任何p值感到惊讶。一旦确定存在效果，p值的含义就会消失。有人只是将其报告为相对较弱的归纳链中的一环，以证明是否拒绝零。但是，如果被拒绝，它实际上将不再具有任何意义。