效果大小真的优于p值吗?
在应用研究中,很多重点放在依赖和报告效应大小上,而不是p值上(例如,下面进一步引用)。 但是,不是像p值一样,效应大小是随机变量,并且在重复相同实验时,样本之间的影响大小可能会有所不同吗?换句话说,我在问什么统计特征(例如,效应大小在样本之间的可变性小于p值)使效应大小比p值更好的证据衡量指标? 但是,我应该提到一个重要的事实,它将p值与效果大小区分开。也就是说,效果大小之所以可以估算,是因为它具有总体参数,而p值却没有任何估算,因为它没有任何总体参数。 对我而言,效应大小只是在某些研究领域(例如,人类研究)有助于将来自各种研究人员开发的测量工具的经验发现转化为通用度量的度量(可以说,使用人类研究可以更好地适应这种度量)量化研究俱乐部)。 也许如果我们将一个简单的比例作为效应大小,那么以下(R中的)是什么表明效应大小超过p值的优势?(p值会发生变化,但效果大小不会改变) binom.test(55, 100, .5) ## p-value = 0.3682 ## proportion of success 55% binom.test(550, 1000, .5) ## p-value = 0.001731 ## proportion of success 55% 请注意,大多数效果大小与测试统计量线性相关。因此,使用效应量进行零假设检验很容易。 例如,事前设计产生的统计量可以很容易地转换为相应的科恩效应大小。这样,Cohen d的分布只是at分布的比例定位版本。 引号: 由于p值是混杂指标,因此理论上100个样本大小不同且影响大小不同100项的研究可能具有相同的单个p值,而100个具有相同单一影响值的研究可能各自具有100个不同的p值。 要么 p值是随样本不同而变化的随机变量。。。。因此,比较两个不同实验的p值,或对同一实验中测量的两个变量的测试的p值进行比较,并声明一个比另一个重要,是不合适的。 引文: 汤普森(2006)。行为统计的基础:一种基于洞察力的方法。纽约,纽约:吉尔福德出版社。 Good,PI和Hardin,JW(2003)。统计中的常见错误(以及如何避免)。纽约:威利。