如何结合因素分析,内部一致性和项目响应理论来减少项目数量?


12

我正在根据经验设计调查表,在此示例中,我将使用任意数字进行说明。就上下文而言,我正在开发一项心理调查表,旨在评估焦虑症患者中常见的思维模式。一个项目可能看起来像是“我需要反复检查烤箱,因为我不能确定烤箱已关闭 ”。

我有20个问题(5分李克特),可能由一个或两个因素组成(请注意,实际上我有将近200个问题,由10个量表组成,每个量表可能由两个因素组成)。我愿意删掉大约一半的项目,只针对两个因素之一提出10个问题。

我熟悉探索性因素分析(EFA),内部一致性(克朗巴赫(Cronbach's alpha))以及项目响应理论(IRT)中的项目特征曲线。我可以看到我将如何使用这些方法中的任何一个来确定哪些项目是任何单个范围内的“较差”。我很欣赏每种方法还可以回答不同的问题,尽管它们可能导致相似的结果,而且我不确定哪个“问题”最重要。

在开始之前,请确保我分别知道每种方法的用途。

  • 使用EFA,我将确定因素的数量,并删除在其各自因素上负荷最小(假设为<.30)或在各个因素之间交叉负荷的项目。

  • 使用内部一致性,我将删除“如果删除了项目,则alpha值更差”的项目。我可以在假设我的量表中有一个因子的情况下进行此操作,也可以在初始EFA之后执行该操作以识别因子的数量,然后对每个因子运行alpha。

  • 使用IRT,我将删除(5 Likert)响应选项中未评估关注因素的项目。我会盯着项目特征曲线。我基本上是在寻找一个45度角的直线,该直线从李克特量表的选项1一直沿潜分数上升到5。我可以假设一个因素,也可以在初始
    EFA之后执行该步骤以识别多个因素,然后为每个因素运行曲线。

我不确定要使用哪种方法才能最好地确定哪些项目是“最差的”。我从广义上使用最差的方法,以使该项目在可靠性或有效性方面都不利于测量,这两者对我来说都同样重要。大概我可以结合使用它们,但是我不确定如何使用。

如果要继续我现在所知道的并尽我所能,请执行以下操作:

  1. 进行全民教育,以确定许多因素。还要删除因其各自因素而导致加载不良的项目,因为我不希望加载不良的项目,无论它们在其他分析中的表现如何。
  2. 如果IFA中还有任何残留物,则也要进行IRT并从该分析中判断出还除去不良品。
  3. 只需报告Cronbach的Alpha,不要将其用作删除项目的手段。

任何一般准则将不胜感激!

这也是您可能会回答的特定问题的列表:

  1. 在基于因子负荷删除项目和基于Chronbach的alpha删除项目之间(在两种分析中使用相同的因子布局)之间的实际区别是什么?

  2. 我应该先做什么?假设我用一个因素进行EFA和IRT,并且都确定了应删除的不同项目,那么哪个分析应该优先?

尽管我将报告Chronbach的Alpha值,但我对进行所有这些分析并不感到困难。我觉得仅执行IRT会遗漏某些内容,对于EFA同样如此。


如果您选择通过FA实现构造有效性,那么您当然应该从FA开始(在筛选出“不良”(例如,分布过于偏斜的项目)之后)。您与FA的交往将是复杂且反复的。扔掉大多数“弱”项目后,重新运行FA,检查KMO指数,相关性的恢复程度,因子可解释性,检查是否有更多项目要删除,然后再次运行
ttnphns 2012年


1
您删除具有最高“如果已删除项目的alpha值”而不是最低级别的项目...

真奇怪!关于这个基本问题,我们三年之内没有公认的答案。
WhiteGirl '17

Answers:


3

我没有任何引用,但我建议这样做:

零点:尽可能将数据分成训练和测试集。

首先做全民教育。根据您对问题的了解,查看各种解决方案以查看哪种解决方案有意义。您必须在Cronbach的alpha版本之前执行此操作,否则您将不知道哪些项目会影响哪个因素。(在所有项目上运行alpha可能不是一个好主意)。

接下来,运行alpha并删除在每个因素中相关性比其他因素差得多的项目。我不会设置一个任意的临界值,我会寻找比其他值低很多的值。看看删除那些是否有意义。

最后,从IRT中选择具有各种“难度”级别的项目。

然后,如果可能,请在测试集上重做此操作,但无需进行任何探索。也就是说,查看在训练集上找到的结果在测试集上的效果如何。


谢谢你的回答。尽管我不确定我是否有理由拆分数据,但这是沿着我一直在思考的方向。另外,由于这些项目采用的是5点李克特量表,因此我希望其中的大多数(至少是“好”)都会显示出类似的难度。
Behacad 2012年

1
当然,您知道很好的参考书:-)我会在以下几点上为您加分(因为该主题很可能会作为以后问题的参考书)。(a)通常,基于Cronbach's alpha的项目删除无需考虑交叉验证方案。显然,这是一种有偏见的方法,因为使用同一个人来估计这两种度量。(b)另一种选择是通过考虑休息分数(即总分数而不包括正在考虑的项目)来建立项目/规模相关性:在这种情况下,您认为这很重要吗?(...)
chl 2012年

1
(...)(c)最后,IRT模型通常用于根据项目拟合统计量等来丢弃项目(本着规模净化的精神)。您对这种方法有何看法?
chl 2012年

仅供参考,我可能可以分别找到这些方法中的每一个的参考,但是对于结合使用这些方法中的任何潜在参考,我将不胜感激。真的,任何参考文献都很棒!您知道(而且可能是!)评论者……
Behacad 2012年

@chl我可以挖掘参考文献,但我不知道这些参考文献是什么。在a)和b)上,它可能比大多数人认为的重要。有人应该做一个模拟。c)自从我从事IRT工作以来已有一段时间(我的学位是心理计量学,但是那是很久以前的事情了)。
彼得·弗洛姆

2

您建议的所有三个条件实际上都可以在IRT中执行,更具体地说是在多维IRT中执行。如果您的样本量很大,则可能是每种子量表的一致选择。这样,您就可以获得IRT的好处,即可以独立地对项目建模(对某些项目使用名义模型,对某些项目使用广义部分信用或对其他项目进行评分,或者如果可能的话,还可以设置等级量表,以更简化的方式帮助解释多项目项)。

θ

θ

您可以尝试删除不符合大多数IRT软件的一维要求的项目,但是如果它影响到手边的结构的理论表示,则不一定推荐这样做。在经验应用中,通常最好尝试使我们的模型符合我们的理论,而不是相反。同样,在这里双因素/两层模型比较合适,因为您希望在系统地和理论上希望的方式考虑多维性的同时包括所有可能的项目。


谢谢!您如何衡量IRT中的经验可靠性?这和信息一样吗?
Behacad

θ^rxx=T/(T+E)θmirtfscores()sirtTAM

@ philchalmers,pls可以看看问题
WhiteGirl
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.