为了得出“天花板效应”正在发生,必须满足什么条件?


13

根据SAGE社会科学研究方法百科全书 ...

[a]上限效应发生在一项措施具有潜在响应的明显上限并且参与者集中度达到或接近该上限时。尺度衰减是一个方法学问题,每当以这种方式限制方差时都会发生。…例如,某种程度的态度可能会产生天花板效应,其中高分表示一种有利态度,而最高的反应却无法捕捉到最积极的评价。…解决天花板效应的最佳解决方案是试点测试,这可以尽早发现问题。如果发现上限效应,并且[结果]度量标准是任务绩效,则可以使任务更加难以增加潜在响应的范围。1个 [重点添加]

似乎有很多建议问题,在这里)处理分析这表明类似于上述报价的天花板埋入影响的数据。

我的问题可能很简单,也可能很幼稚,但是如何真正检测出数据中存在上限效应呢?更具体地说,例如,创建了一个心理测验,并怀疑其导致了上限效应(仅视觉检查),然后对该测验进行了修改,以产生更大范围的值。如何显示修订后的测试已从其生成的数据中消除了上限效应?是否有一项测试表明数据集a中存在上限效应,但数据集b中没有上限效应?

我幼稚的方法是仅检查分布偏斜,如果不偏斜,则得出结论没有上限效应。这太简单了吗?

编辑

再举一个更具体的例子,我说开发了一种可以测量某些潜在特征x的工具,该特征x随着年龄的增长而增加,但最终趋于平稳,并随着年龄的增长而开始下降。我制作了第一个版本,范围为1-14,进行了一些试验,发现似乎有一个上限效应(很多响应在14或接近14时,最大值。)查看数据,但是为什么呢?是否有严格的方法来支持该主张?

然后,我将度量值修改为1-20,并收集更多数据。我看到趋势更加符合我的期望,但是我怎么知道测量范围足够大。我需要再次修改吗?从外观上看,这似乎还可以,但是有没有一种方法可以验证我的怀疑?

在此处输入图片说明

我想知道如何才能在数据中检测到这种上限效应,而不仅仅是查看它。这些图代表实际数据,而非理论数据。扩大仪器的范围可以产生更好的数据分布,但这足够吗?我该如何测试?


1 Hessling,R.,Traxel,N.,&Schmidt,T.(2004)。天花板效果。SAGE社会科学研究方法百科全书 Michael S. Lewis-Beck,A。Bryman和Tim Futing Liao(编)撰写。(第107页)。加利福尼亚州千橡市:Sage Publications,Inc. doi:10.4135 / 9781412950589.n102


4
为了取得进展,必须提出“天花板效应”的运作定义。这样做通常可能会出现问题:毕竟,几乎所有测量量都不能实际超过某个值,例如测试分数或化学浓度为100%,仪器可以读取的上限等等,因此可以说几乎所有数据都有一些固有的上限。因此,尽管从您的漂亮示例中可以直观地看出“上限效果”的预期含义,但是您可以通过明确说明需要从数据中“删除” 哪些内容以及原因来帮助我们。
ub

1
@whuber,您对这个词的使用方式有几种不同的说法是正确的,但是在这种情况下,我要说的是使尺子足够长,以至于超出我要测量的所有事物。在创建测试时,您肯定希望包含足够多的难度范围内的项目,以使没有人能100%获得,否则,您将不知道该人的能力实际上是测试的极限还是更高的极限。不需要从数据中删除任何内容,但是需要对仪器进行修改,直到不生成受检查的数据点。
天花板

谢谢。不过,我仍然不确定您所说的“天花板效应”是什么意思,因为您的插图均未显示任何形式的审查的明显证据,至少没有通过测试达到的固定审查限制。实际上,从左面板到右面板的变化看起来更像是垂直轴的一对一非线性重新表达,这对数据的任何上限都没有影响。这使我想知道您是否真的担心完全不同的东西,例如回归残差的不对称性。
ub

1
由于大多数点重叠,因此添加了@whuber抖动。如果这些图似乎与我的问题无关,那么显然我不知道我在说什么。在我看来,就像海斯林(Hessling),特拉克塞尔(Traxel)和施密特(Schmidt)所描述的那样,存在一种天花板效应,但是基于您的评论以及对该问题的完全不感兴趣,也许我看到了一个根本没有问题的问题。不过,感谢您的建议和见解。我很感激。
天花板

1
@Johan,我明白了。按照您的问题,我觉得您的想法稍作修改可能是一个好主意。除非我们有理由假设残差必须是正态分布的,否则我们可能会寻求找到响应的单调变换,其中残差分布在响应低时是同调的,而在响应高时可能会被截断。换句话说,也许测试不应该是为了正态性,而是应该寻找一个一致的形状和比例来响应。
whuber

Answers:


3

首先,我想说的是,两个图都向我提供了明显的证据,表明存在上限效应。我将尝试观察这种效果而不只是视觉上的方法,就是观察观察结果,只要观察结果中不重要的部分位于仪器范围的上限附近。通常来说,只要有不平凡的应试者在考试中达到最高分,就会一直存在上限效应。

但是,由于我们需要根据正确的分数直接在仪器上解释分数,因此测试分析技术取得了长足的进步。现在,我们可以使用项目响应理论来估计单个项目的项目参数,并使用这些项目来识别主体能力。如果我们使测试过于简单,那么当然仍然会有天花板效应。但是,由于项目响应理论的力量,我们应该能够在仪器中放置至少几件具有足够高难度的项目,以便仅防止小部分人跌入高潮。

谢谢你的问题。这很有趣!


2

我猜一个粗略而现成的方法就是随着比例的增加来测量方差。如果显示减少,则表明存在天花板效应,如果没有降低,则没有天花板效应。您可以制作方差图的同质性。Levene的检验对于确定量表上不同点的方差是否有差异可能很有用。


2
谢谢你的主意。我会尝试的,但在这种情况下,我希望方差会随着年龄的增长而自然减少。
天花板

在天花板上,这个答案和您的评论似乎混淆了两个截然不同的概念。的规模方差将反映受试者的重复独立测量的分散体; 它应该不取决于受试者,而可能随受试者的平均反应而变化。您和此答案引用的方差是回归残差的方差。尽管它们是相关的,但它们不是一回事。

@whuber感谢您指出这一点。顺便说一句,您仍然看不到任何有关更新图表和信息的天花板效应的证据吗?考虑到在存在上限效应的情况下分析数据的多个问题和答案,这个问题几乎没有引起我的兴趣,我感到非常惊讶。
上限

你好 只要您绘制的是主题之间的比例随比例的增加而变化,而不是在主题内部进行绘制,这会不会告诉您有关天花板效果的信息?-您仍然可以使用Levene检验来检验随着规模增加而产生的方差的显着变化吗?还是仅用于测试受试者方差变化?除了“量表方差”(例如“残差方差”)以外,我们是否应该使用不同的术语来描述随着量表的增加而不同人的分数的变化?levene的检验可以用来表明“残差方差”在整个范围内是均匀的

0

确定最高点或最低点附近的聚类是由于上限/下限效应引起的关键问题是案例的值是否实际上“代表”了该值。当确实发生了天花板/地板效果时,尽管假定了最大值或最小值,但实际上某些情况下仍高于或低于最大值或最小值(想象一个成年人和一个孩子都完成了一个非常简单的数学测试,该测试旨在衡量一个人的数学能力,并且两者得分均为100%)。在这里,数据被审查。

当我们使用有界上限和下限的有界标度(如Likert状标度)时,另一种情况也是可能的。得分最高的人完全有可能确实值得该得分,并且得分最高的所有人之间不存在差异(例如上面的数学示例)。在这种情况下,数据将在限制处被截断而不进行检查。

基于以上推理,我认为应该设计一种过程,以通过数据截断和数据审查来适应任何给定的数据集。如果审查模型最好地拟合了数据,那么我认为可能会得出结论,即存在天花板/地板效果。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.