如何为大型数据集选择显着性水平？

我正在使用N约为200,000的数据集。在回归中，我看到很小的显着性值<< 0.001与很小的影响大小相关，例如r = 0.028。我想知道的是，有没有一种原则性的方法来确定与样本量有关的适当的显着性阈值？在解释这么大样本的效应大小时，还有其他重要的考虑因素吗？

— 特德·施特劳斯
source

这是实际意义还是统计意义的问题。如果斜率确实不同于0，即使是很小的量（例如.00000000000001），则足够大的样本将产生非常小的

p

$p$ 值，尽管结果没有实际意义。当样本量太大时，最好解释点估计而不是

p

$p$ 值。

— 2012年

@Macro对不起，您可以在此处阐明按点估算的意思吗？

— ted.strauss 2012年

除了上面Macro的评论外，在这种情况下，我希望研究结果具有“实用”或“临床”意义。对于您正在做的事情，效果是否足以让您护理？

— 米歇尔

点估计是观察到的回归斜率估计。

— 2012年

我和@Macro都在说，您需要确定临床效果（点估计值，斜率）是否重要。您的阈值是根据“是的，这是重要的临床效果”而不是“显着的p值”来决定的，因为大多数（所有？）p值都是显着的。

— 米歇尔

Answers:

在显着性检验的渺小，约翰逊（1999）指出，p值是任意的，因为你可以让他们，如同你想通过收集足够的数据，假设零假设是错误的，它几乎总是。在现实世界中，不太可能存在完全为零的半部分相关性，这是检验回归系数显着性的零假设。P值显着性临界值甚至更为任意。.05的值是重要性和非重要性之间的界限，是按惯例使用的，而不是原则上使用的。因此，第一个问题的答案是“否”，没有原则性的方法来决定适当的重要性阈值。

那么，鉴于您的大数据集，您该怎么办？这取决于您探索回归系数的统计显着性的原因。您是否正在尝试对复杂的多因素系统建模，并开发出合理地适合或预测现实的有用理论？然后，也许您可以考虑开发更复杂的模型，并对其进行建模，如Rodgers（2010），《数学和统计建模的认识论》中所述。拥有大量数据的优点之一是能够探索非常丰富的模型，这些模型具有多个级别并且具有有趣的交互作用（假设您有这样做的变量）。

另一方面，如果您想对是否将特定系数视为具有统计学意义做出一些判断，则可能要采用Woolley（2003）中概述的Good（1982）的建议：计算q值作为，它将p值标准化为100的样本大小。正好.001的p值会转换为.045的p值-仍然具有统计意义。 $p\cdot\sqrt{(n/100)}$

因此，如果使用某个任意阈值或其他阈值有意义，那么该怎么办？如果这是一项观察性研究，则您需要做更多的工作来证明它实际上以您的思维方式是有意义的，而不仅仅是因为您未正确指定模型而显示的虚假关系。请注意，如果小效果代表选择不同治疗级别而不是治疗效果的人群之间的既存差异，则在临床上并不是那么有趣。

正如评论者所指出的，您确实需要考虑所见的关系是否具有实际意义。将您引用的数字从转换为以解释方差（是相关性，将其平方以得到方差解释），分别得出的方差只有3％和6％，这似乎并不多。 $r$ $r^2$ $r$

— 安妮·Z。
source

@ rolando2感谢您的编辑，总是在大/小p值之间感到困惑！我认为，如果偏离分配权的范围较大，则p值较小。

— Anne Z. 2012年

（+1）这是一个很重要的事实，许多实践者没有仔细考虑：“ p值是任意的，因为您可以通过收集足够的数据（假设零假设为假）来使它们尽可能小。几乎总是如此。”

— 2012年

谢谢！您倒数第二段的观点是正确的。我正在阅读Woolley的文章，并注意到您的q值公式已关闭。应该是p *而不是p /-我试图在此处更改它，但编辑必须大于6个字符。

— ted.strauss'2

@ ted.strauss我很高兴这很有帮助。有时，我对必须使用的工具（例如p值）的局限感到沮丧。感谢您注意到公式中的错误，我已修复它。

— 安妮·Z。2012年

感谢您的精彩回答。但是我无法使用上面提供的链接访问Woolley 2003。

— KarthikS '16

-3

我想一种简单的检查方法是，从您知道的一个分布中随机抽取一个类似的大数两次，然后比较两个结果。如果您多次这样做并观察到相似的p值，则表明没有任何实际效果。另一方面，如果您不这样做，那么可能存在。

— 拉尔斯·科特霍夫（Lars Kotthoff）
source

我认为您建议在样本量较大时没有真实差异的零假设下进行模拟，并查看

。我可以不做模拟就告诉您，所得

比例将与原始海报所观察到的比例小。任何样本大小均如此。这是

值的定义。

p

$p$

< .001

$<.001$

p

$p$

p

$p$

— 2012年

In fact, the

p

$p$ -values that will come out of the process you described will have a

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$ distribution.

— Macro

In relation to the last comment by @Macro, here is a sketch of the proof that, under the null hypothesis

H_{0}

$H_0$ , the

p

$p$ -value has

U [0, 1]

$U[0,1]$ distribution. Given a test statistic

T = T (X)

$T=T(X)$ , if we observe

t = t (x)

$t=t(x)$ , the

p

$p$ -value is defined as

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$ . Suppose that under

H_{0}

$H_0$ the distribution function of

T

$T$ is

G_{0}

$G_0$ , with

G_{0}

$G_0$ continuous and nondecreasing, so that it has inverse

G_{0}^{- 1}

$G_0^{-1}$ . Then, we have

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$ , and, for

u \in [0, 1]

$u\in[0,1]$

— Zen

(continuation of Zen's comment):

P (p (T) \leq u) = P (1 - G_{0} (T) \leq u) = P (G_{0} (T) \geq 1 - u) = P (T \geq G_{0}^{- 1} (1 - u)) = 1 - G_{0} (G_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$ Hence, we conclude that

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$ .

— whuber