如果我有很多积极的,微不足道的结果,我是否可以测试“ 这些结果中至少是积极的”?


9

假设我分别对100个不同的人进行了相同的回归分析。我感兴趣的系数是正的(并且彼此之间有很大差异),但在所有100个结果中统计上都无关紧要(假设每个p值= 0.11)。

有没有一种方法可以将这些p值组合起来,以得出“这些结果中至少有80个是阳性”的结论,其意义远大于p = 0.11?我的在线搜索仅显示了我如何通过Fisher或类似测试怎么说“这些结果中至少有1项是肯定的”,但我无法对此结果进行概括。我想测试“ H0 =所有100种效果在0时都相同”对“ HA =至少80种效果是正值”。

我的目标不是说平均有一个正系数,也不是专门测量该系数。我的目标是有意义地证明,至少有80个人面对着一些积极的影响,而不论80个人,以及每个人感受到的影响程度如何。


2
您说“分别为100个人运行相同的回归”是什么意思?-这是否意味着您有100个数据集,每个数据集对同一组响应变量和解释变量具有多个观察值?不确定这是如何工作的,例如,如果您有兴趣比较个体的身高和体重,那么每个个体只有一个观察值,那么如何拟合回归呢?您是否为每个人都有一个时间序列-在这种情况下,您仍然需要更复杂的技术。如果您正在寻找搜索字词,那将是一种纵向分析的形式。
彼得·埃利斯

Answers:


8

您应该将所有100个分析作为一个单独的混合效应模型进行分析,并使用感兴趣系数随机变量本身。这样,您可以估算这些系数的分布,包括它们的整体均值,这将为您提供我想寻找的解释。

请注意,如果我怀疑是这种情况,那么您需要为每个人都有一个时间序列,则还需要校正残差的自相关。


谢谢您的宝贵时间,非常感谢。请澄清一下,这是一个时间序列。假设我有5年内所有100个人的数据,到了第三年,所有100个人的虚拟变量(我感兴趣的自变量)同时变为1。我不在乎这种变化对每个人的确切影响或平均影响。相反,我只想确定每个人至少有80人受到影响。该系数在所有100上均为正,但各不重要。我不确定测量系数的分布是否可以达到目的。
user28239

1
我猜就是那样 我认为我推荐的方法是正确的。然后,您可以使用模型进行预测或所需的任何其他解释性操作。
彼得·埃利斯

4

简单的做事情很可能是一个符号检验。零假设是,每个结果具有相等的正数或负数概率(例如翻转公平硬币)。您的目标是确定在可以拒绝的零假设下观察到的结果是否不太可能。

从一枚普通硬币的100次翻转中获得80个或更多正面的可能性是多少?您可以使用二项分布来计算。在中R,相关函数称为pbinom,您可以使用以下代码行获得(单侧)p值:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

根据该测试,您的直觉是正确的,如果治疗无效,您极不可能偶然获得80个阳性结果。

一个密切相关的选择是使用诸如Wilcoxon签名秩检验之类的方法


一个更好的办法,如果你真的想估计的影响大小(而非仅仅确定是否它往往是大于零或者没有),可能会是一个层级(“混合”)模型。

在这里,模型说您的100个人的结果来自一个分布,您的目标是查看该分布的平均值在哪里(以及置信区间)。

混合模型可让您更多地说明效果大小:拟合模型后,您可以说“我们估计,尽管数据与真实平均值相符,但我们的治疗倾向于平均改善三个单位的结果”效果大小在1.5到4.5单位之间。此外,个体之间也存在一些差异,因此给定的人可能会看到-0.5到+6.5单位之间的效果。”

这是一组非常精确和有用的陈述,比“效果平均而言可能是积极的”要好得多,这就是为什么这种方法倾向于受到统计学家的青睐。但是,如果您不需要所有这些细节,那么我提到的第一种方法也可以。


0

也许我完全理解错了,但是在我看来,您正在尝试执行重复测量方差分析。只需将此“虚拟”定义为主题内因素,然后模型即可完成其余工作。意义本身不是很丰富。它是必需的,但还不够;只要有足够多的观察值,任何模型都将变得有意义。您可能需要获取效果大小,例如(部分)Eta-Squared,以了解您的效果有多“大”。我的2美分。


0

它可能像普通的ANCOVA计算一样简单,但是分析数据的适当方法将取决于实际情况,而您没有提供这些细节。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.