在结构方程模型中拥有非常小的样本的复杂性


13

我正在Amos 18中运行结构方程模型(SEM)。我正在为我的实验寻找100名参与者(宽松使用),这可能不足以进行成功的SEM。反复告诉我,SEM(以及EFA,CFA)是一种“大样本”统计程序。长话短说,我没有参加100名参与者(这真是令人惊讶!),并且在排除两个有问题的数据点之后只有42个参与者。出于兴趣,我还是尝试了该模型,令我惊讶的是,它看起来非常合适!CFI> .95,RMSEA <.09,SRMR <.08。

该模型并不简单,实际上我会说它相对复杂。我有两个潜在变量,一个有两个观测变量,另一个有5个观测变量。我在模型中还有四个观察到的变量。间接变量和直接变量之间存在许多关系,例如,某些变量是其他四个变量内生的。

我对SEM有点陌生;但是,我认识的两个非常熟悉SEM的人告诉我,只要拟合指标良好,效果是可以解释的(只要它们很重要),并且该模型没有任何明显的“错误”。我知道某些适合度指标在暗示良好适合度方面偏向或反对小样本,但我前面提到的三个指标似乎不错,而且我相信也没有类似偏见。为了测试间接影响,我使用引导程序(2000个样本左右),90%的偏差校正了信心,蒙特卡洛。另外需要注意的是,我针对三种不同的条件运行三种不同的SEM。

我有两个问题,我希望一些人可以考虑,如果您有贡献,请回答:

  1. 我的模型是否存在没有通过拟合指数证明的重大弱点?小样本将突出显示该研究的弱点,但我想知道是否存在一些我完全没有注意到的巨大统计问题。我计划将来再增加10至20名参与者,但这仍将为我提供相对较小的样本进行此类分析。

  2. 给我很小的样本,或者在使用它的上下文中,我使用引导程序是否有任何问题?

我希望这些问题对本论坛来说不是太“基本”。我已经阅读了许多关于SEM和相关问题的章节,但是我发现人们在这方面的观点非常分散!

干杯


1
@Behacad-解释清楚的问题。您正在使用非常稀疏的数据来估算大量参数。因此,推断将非常不稳定。但是我想退后一步,问一下-您是否使用这42种方法来推断较大人群之间的关系?如果是这样,这42个样本是随机样本还是至少一个具有代表性的样本?
rolando2

谢谢您的评论rolando2!该样本包括42名大学生,我正在研究许多因素与焦虑之间的关系。我希望推断的关系将是普通人群之间的关系。我的推论是有限的,因为参与者都是相对年轻的学生,但是我并没有寻找任何特定的人群(例如,患有焦虑症的人)。我有兴趣广泛地举例说明,例如在非诊所样本中X与Y间接相关。这能回答您的问题吗?
Behacad 2011年

1
@Behacad-假设您可以为潜在的批评家辩护,您的样本具有代表性,我会明确地说,试图估计12个变量之间的关系对您的42个案例的要求过高。看看是否可以简化模型,使其仅包含3个最有趣的预测变量。尽管我意识到分开数据可能很痛苦,但是您可能很难收集!
rolando2 2011年

感谢您的答复。我有一个“感觉”,很难用42个数据点来估计所有这些变量之间的关系,而且我知道您来自哪里。话虽这么说,这个问题的统计原因(最好是引用的)是什么?这与对不同的因变量运行许多回归/相关性有何不同?拟合度很好(我实际上正在针对不同的实验任务运行三个不同的模型),并且结果在各个模型之间是一致的,并且符合理论。抱歉,我要防守了!
Behacad 2011年

(不是防御性的-不用担心!)即使是在估计单变量统计信息时,至少有42个案例会使您面临抽样误差。现在,在SEM中,每个变量都会被使用很多次,因为您要在控制C,D等的同时估算A与B的关系。因此,采样误差的影响将会传播,据我所知,这就是为什么通常需要大量样品。就您而言,由于您没有随机样本,因此与抽样错误相比,您可能有更多种错误。因此,您需要围绕获得的任何结果绘制一个非常大的可信区间。
rolando2 2011年

Answers:


4

一点:没有“基本问题”之类的东西,您只知道您所知道的,而不知道您所不知道的。提出问题通常是找出答案的唯一方法。

每当您看到小样本时,您就会发现谁在他们的模型中真正拥有“信念”,而谁没有。我之所以这样说是因为小样本通常是模型影响最大的地方。

我自己是一个敏锐的(心理学家?)建模者,我说去吧!您似乎在采取谨慎的方法,并且由于样本量少,您已经意识到潜在的偏见等。将模型拟合为小数据时要记住的一件事是,您有12个变量。现在您应该考虑- 用42个观测值确定具有12个变量的任何模型的效果如何?如果您有42个变量,那么任何模型都可以完全适合这42个观测值(松散地说),因此您的案例距离灵活性不太远。当您的模型过于灵活时会发生什么?它往往适合噪声-即,由您所假设的事物以外的事物所确定的关系。

您还可以通过预测模型中未来10到20个样本中的样本,将自我置于模型的位置。我不知道您的批评家会对提供正确预测的所谓“狡猾”模型做出反应。请注意,如果您的模型不能很好地预测数据,您将得到类似的“我告诉您”信息。

您可以确保自己的结果可靠的另一种方法是尝试将其破坏。保持原始数据不变,创建一个新的数据集,并查看对该新数据集必须执行的操作,以使SEM结果显得可笑。然后查看您必须执行的操作,然后考虑:这是否合理?我的“荒谬”数据是否真的有可能?如果您必须将数据带到荒谬的区域以产生荒谬的结果,则可以一定程度地保证(方法是启发式的,不是形式上的)方法是正确的。


1

我看到的主要问题是力量不足。验证性因子和SEM测试看起来会接受空值-您希望看到一个不重要的p值-因此缺乏功效可能会成为问题。测试的功效取决于样本量(42)和自由度。AMOS给您自由度。您没有引用它,但是在这种情况下它不会很大。从12个变量开始,从66个DF开始,然后为您估计的每个参数减去1。我不知道会是多少,但是您说您在多种结构之间存在多种因素和相关性。

我并不完全同意Rolando2。在SEM中,假设它们是基础结构的可靠指标,则可以通过拥有许多变量来获得收益。所以不要减少变量的数量。出于相同的原因,我并不完全同意@probabilityislogic。在SEM中,您没有尝试用42个观测值对12个变量建模。您正在尝试通过12个指标对结构进行建模,并通过42个重复来加强。一个非常简单的因子模型-具有12个指标的1个因子-可能需要42个人进行测试。

当您接近模型饱和时,RMSEA和其他拟合优度将趋于提高,因此,再次冒着产生误导性结果的风险。

话虽如此,我看到小的数据集拒绝了因子模型。这可能意味着合适的东西看起来不错。

注意:您也可以检查SEM模型的残差。这些是估计协方差矩阵与模型协方差矩阵之间的差异。如果您要求,AMOS将给您。检查残差可能表明它们是否均匀分布,或者某些协方差拟合得很差。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.