在模型中包括交互作用,但不包括主要影响


85

在不包含主要影响的情况下在模型中包括双向交互是否有效?如果您的假设仅是关于相互作用的,那您还需要包括主要影响吗?


3
我的理念是运行大量模型,检查其预测,进行比较,解释,运行更多模型。
迈克尔·毕晓普

11
如果仅当主要效果在模型中时相互作用才是显着的,则可能是主要效果是显着的而相互作用不是。考虑一个方差为100的高度显着的主效应,以及另一个无关紧要的主效应,其所有值都近似为一个且方差很小。它们之间的交互作用不显着,但是如果从模型中删除主要影响,则交互作用将显得很重要。
托马斯·莱文

4
@Thomas您的第一行应读为“如果仅当主要效果不在模型中时相互作用才是重要的……”?
格伦(Glen)

2
哦,是的,应该!
托马斯·莱文

Answers:


55

以我的经验,当将所有低阶效应连接到高阶效应时,不仅需要在模型中具有所有低阶效应,而且正确建模(例如允许为非线性的)似乎与之无关的主效应也很重要。感兴趣的互动中的因素。这是因为x 2之间的交互作用可以替代x 3x 4的主要效果。有时似乎需要交互,因为它们是共线的,带有省略的变量或省略的非线性(例如,样条曲线)项。x1x2x3x4


1
这意味着我们应该开始删除y〜x1 * x2 * x3 * x4中的项,开始删除最高阶项,即正常的删除方法,对吗?
好奇的2012年

9
不建议删除术语,除非您可以将整个术语类作为“块”进行测试。例如,保留或删除所有交互项,或者保留或删除所有三阶或四阶交互可能是合理的。
Frank Harrell

以特定顺序仅删除某些交互有什么问题?
user1205901 2015年

3
如果您有一个完全预定的订单,而该订单不是通过查看数据确定的,那么您可以这样做。通常,在使用多个P值做出多个决策时,您会遇到共线性和多重性问题。
Frank Harrell 2015年

2
我觉得这个答案不清楚,只能部分回答这个问题。确实,此答案指出有必要对主要效果进行建模,但没有回答将其回归到仅关注交互方面是否有效,在某些模型(例如gPPI)中使用了交互效果(请参阅我的答案)下面)。
华丽的

37

您问它是否有效。让我提供一个常见的例子,其阐明可能会为您建议其他分析方法。

交互的最简单示例是一个模型,该模型具有一个因变量和两个自变量XY,形式为ZXY

Z=α+βX+γY+δXY+ε,

具有随机变量术语零预期,使用参数α β 'γ 'δ '。它通常值得检查是否δ '接近β ' γ ',因为同一型号的代数等价表达εα,β,γ,δδβγ

Z=α(1+βX+γY+δXY)+ε

=α(1+βX)(1+γY)+α(δβγ)XY+ε

(其中,β=αβ,等等)。

从那里,如果有一个理由去假设,我们可以吸收它的误差项ε。这不仅提供了“纯粹的互动”,而且没有固定的期限。 这反过来强烈建议采用对数。残差中的某些异方差性(即与Z较大的值相关的残差的绝对值趋于大于平均值的趋势)也将指向该方向。然后,我们想探索一种替代的公式δ-βγ0εž

日志ž=日志α+日志1个+βX+日志1个+γÿ+τ

随机误差。此外,如果我们预期β Xγ ÿ相比要大1,我们不是仅仅提出模型τβXγÿ1个

log(Z)=(log(α)+log(β)+log(γ))+log(X)+log(Y)+τ

=η+日志X+日志ÿ+τ

这种新的模型具有只是一个单一的参数,而不是四个参数(αβ '等)受到的二次关系(δ ' = β ' γ 'ηαβδ=βγ),一个相当大的简化。

我并不是说这是必要的,甚至不是唯一的步骤,但是我建议,只要交互作用很重要,通常值得考虑对模型进行这种代数重排。

Tukey的EDA的第10至13章中介绍了一些探索交互模型的出色方法,尤其是只有两个和三个独立变量的模型。


你能提供的,当你将能够承担起一个例子会接近零?对于我而言,很难想到那些与原始术语有关的术语及其含义。δβγ
2015年

@djhocking任何情况,其中替代制剂是好的模型将必然意味着的第一模型。最终模型是一个特例,它是log Z XY的对数之间的简单线性关系,等同于原始比例上的乘法关系Z X Y。这种关系在本质上比比皆是-它只是说ž直接并单独既成正比关系XY ^αδ-βγ0日志žXÿžXÿžXÿ
ub

30

尽管教科书中经常指出,在没有相应的主要效果的情况下,绝不应该在模型中包括交互作用,但是肯定有一些例子可以说是十全十美的。我会给你我能想到的最简单的例子。

假设随机分配给两组的受试者进行了两次测量,一次在基线(即随机化后),一次在T组接受某种治疗,而C组则没有。然后,针对这些数据的重复测量模型将包括测量场合的主要影响(虚拟变量对于基线为0,对于后续变量为1)以及组虚拟变量之间的相互作用项(对于C为0,对于T为1 )和时间假人。

然后,模型截距估计基线时受试者的平均得分(无论他们处于哪个组)。测量时机假人的系数表示对照组在基线和随访之间的变化。交互作用项的系数表示与对照组相比,治疗组的变化有多大/小。

这里,不必包括组的主要作用,因为在基线,由于随机性,各组在定义上是等效的。

当然可以认为,仍应包括对组的主要作用,这样,如果随机化失败,分析将揭示出这一点。但是,这等效于测试两组的基准均值。而且,很多人都不愿对随机研究中的基线差异进行测试(当然,也有很多人发现它有用,但这是另一个问题)。


4
当时间零(基线)测量值用作第一响应变量时,会出现问题。基线通常用作研究的进入标准。例如,一项研究可能招募收缩压(bp)> 140的患者,然后随机分配至2 bp的治疗并遵循bps。最初,bp具有截短的分布,以后的测量将更加对称。在同一模型中对2个分布形状进行建模很麻烦。还有更多理由将基线视为基线协变量。
弗兰克·哈雷尔

3
很好,但是最近的研究表明这不是问题。实际上,使用基线分数作为协变量似乎还有更多的缺点。参见:Liu,GF,等。(2009)。在临床试验中,从基线变化的分析中,基线应该是协变量还是因变量?医学统计学,28,2509-2530。
沃尔夫冈

3
我读过那篇论文。这没有说服力,而且刘还没有研究我描述的各种临床试验情况。有关串行(纵向)数据分析的章节,请参见biostat.mc.vanderbilt.edu/wiki/pub/Main/RmS/course2.pdf
弗兰克·哈雷尔

1
感谢您的链接。我假设您是指8.2.3下的讨论。这些是一些有趣的观点,但是我认为这不能给出明确的答案。我确信刘等人的论文。也不是最终的答案,但是它确实暗示了例如基线值的非正态性不是关键问题。也许这是一个单独的讨论项目,因为它与OP的问题没有直接关系。
沃尔夫冈

2
是的,这取决于非正常程度。为什么在制定模型时要靠吉祥?将零时间测量作为基准测量也有很多纯粹的哲学原因(请参阅我的笔记中Senn和Rochon的引文)。
弗兰克·哈雷尔

19

将主要影响保留在模型中的原因是为了可识别。因此,如果目的是对每种效应进行统计推断,则应将主要效应保留在模型中。但是,如果您的建模目的仅是为了预测新值,则仅在增加交互作用的情况下提高预测准确性是完全合理的。


5
您能否对可识别性问题更明确一点?
2011年

6
我不认为忽略主要影响的模型不一定是未知的。也许您是说“可解释性”而不是“可识别性”(这是一个具有精确定义的技术术语)
JMS

6
@JMS:是的,它破坏了可解释性。但是,统计学家和社会科学家对“可识别性”一词的使用有所不同。我的意思是后者,在(松散地说)您要在其中标识具有特定结构的每个统计参数的地方。通过删除主要效果,您将无法再将结构与参数匹配。
Galit Shmueli

13

这在其他人给出的许多答案中都是隐含的,但简单的一点是,带有乘积项的模型而没有主持人和预测者的模型只是不同的模型。弄清楚给定您正在建模的过程的每种含义,以及根据您的理论或假设,没有主持人和预测者的模型是否更有意义。关于乘积项很重要但仅当不包括主持人和预测变量时的观察结果并不能告诉您任何事情(也许您是在钓鱼,因为“意义重大”)没有合理解释为什么将其排除在外的原因。


我来这里考察的是一个重要的交互作用术语对主要影响的解释,这个答案确实很有帮助。谢谢!
帕特里克·威廉姆斯

9

可以说,这取决于您使用模型的目的。但是我从未见过不运行和描述具有主要影响的模型的理由,即使在假设仅与相互作用有关的情况下也是如此。


如果仅当主效应不在模型中时交互作用才有意义,该怎么办?
格伦(Glen)

3
@Glen-除了统计意义外,还有很多事情要考虑。看到这个。最好检查一下整个模型的拟合度(将残差与对每个拟合模型的预测进行对比),理论以及建模动机。
迈克尔·毕晓普

7

我将借用书中的一段使用Stata的生存分析介绍M.Cleves,R.Gutierrez,W.Gould,Y.Marchenko主编的Stata按回答你的问题。

经常阅读到,只有在还包括相应的主要效果的情况下,才应将交互效果包括在模型中,但是单独包括交互效果没有错。[...]研究人员的目标是考虑到当前的问题,而不仅仅是遵循处方,对参数合理合理地设定正确的数据。


3
绝对可怕的建议。
Frank Harrell

3
@Frank,您介意扩展您的评论吗?从表面上看,“合理地合理化数据的合理性”很有道理。
ub

6
参见stats.stackexchange.com/questions/11009/…。数据无法告诉您什么是真实的,而这种方法在很大程度上取决于要乘变量的测量原点。与使用摄氏温度相比,评估华氏温度对温度的孤立相互作用影响将产生不同的画面。
Frank Harrell,2012年

@弗兰克:谢谢,我找到了:-)。现在它是此线程的一部分。
whuber

7

这两个XŸ将与相关XY(除非你已经采取了具体措施,以防止这种利用中心)。因此,如果您通过自己的方法获得了实质性的交互效果,则很可能等于一种或多种伪装成交互作用的主要效果。这不会产生明确的,可解释的结果。取而代之的是,通过包含xy和(最好在后续步骤中)xy,来查看交互作用可以解释主要效果之外的作用。

关于术语:是的,β0被称为“常数”。另一方面,“部分”在回归中具有特定含义,因此在这里我不会使用该术语来描述您的策略。

在此线程中描述了一些有趣的例子,这些例子将会在蓝月亮中出现。


7

我建议这只是模型不确定性的特例。从贝叶斯角度看,您只需按照与对待任何其他种类的不确定性完全相同的方式来处理此问题,方法之一是:

  1. 计算它的可能性(如果它是感兴趣的对象)
  2. 对其进行积分或平均(如果不感兴趣,但仍可能影响您的结论)

这正是人们通过使用t分位数而不是正常分位数来测试“显着影响”时所做的工作。由于您不确定“真实噪声水平”,因此可以通过在测试中使用更分散的分布来考虑这一点。因此,从您的角度来看,相对于您所提出的问题,“主要影响”实际上是“令人讨厌的参数”。因此,您只需对这两种情况进行平均(或更笼统地说,就是您所考虑的模型)。因此,我会有一个(模糊的)假设:

Hint:The interaction between A and B is significant
DI
P(Hint|DI)=P(Hint|I)P(D|HintI)P(D|I)
P(D|HintI)
P(D|HintI)=m=1NMP(DMm|HintI)=m=1NMP(Mm|HintI)P(D|MmHintI)
MmNM是正在考虑的模型数量。第一项是“模型权重”,它表示多少数据和先验信息支持第m个模型。第二项表示第m个模型支持该假设的程度。将这个方程式重新插入原始的贝叶斯定理可得出:
P(Hint|DI)=P(Hint|I)P(D|I)m=1NMP(Mm|HintI)P(D|MmHintI)
=1P(D|I)m=1NMP(DMm|I)P(MmHintD|I)P(DMm|I)=m=1NMP(Mm|DI)P(Hint|DMmI)

P(Hint|DMmI)P(Mm|DI)1P(Hint|DMjI)P(Hint|DMkI)


5

包含一个交互项而不涉及主要影响的情况很少是一个好主意。CCNY的David Rindskopf写了一些有关那些罕见实例的论文。


5

自然界中有多种过程,仅涉及交互作用和描述它们的规律。例如欧姆定律。例如,在心理学中,您有Vroom(1964)的绩效模型:Performance = Ability x Motivation。现在,您可以期望在该定律成立时发现显着的交互作用。遗憾的是,事实并非如此。您可能会容易地发现两个主要影响和无关紧要的交互作用(有关演示和进一步的说明,请参见Landsheer,van den Wittenboer和Maassen(2006年),《社会科学研究》 35,274-294)。线性模型不太适合检测交互作用。当使用线性模型时,欧姆可能永远找不到他的定律。

结果,难以解释线性模型中的相互作用效应。如果您有预测相互作用效应的理论,则即使无足轻重,也应将其包括在内。如果您的理论将主要影响排除在外,则您可能希望忽略这些主要影响,但您会发现这很困难,因为在真正的数据生成机制仅具有乘法作用的情况下,通常会发现重要的主要影响。

我的回答是:是的,在模型中包含双向交互而不包含主要影响可能是有效的。线性模型是逼近大量数据生成机制的结果的出色工具,但是它们的公式不能轻易地解释为数据生成机制的有效描述。


4

这是一个棘手的问题,发生在我上一个项目中。我将这样解释:假设您拥有变量A和B,这些变量独立出现,并且从商业角度来看,您认为A和B的交互似乎很好。您包括了很重要的互动,但B失去了意义。您最初将通过显示两个结果来解释模型。结果表明,最初B是有意义的,但是从A来看,它失去了光泽。因此,B是一个很好的变量,但仅当从A的各个级别来看时(如果A是分类变量)。就像从海豹突击队的角度来看,奥巴马是个好领袖。因此,奥巴马的密封将是一个重要的变量。但是当奥巴马独自一人见面时可能并不那么重要。(对奥巴马没有冒犯,只是一个例子。)


1
这里有点相反。仅当主效应不在模型中时,(感兴趣的)交互才有意义。
格伦(Glen)

3

F = m * a,力等于质量乘以加速度。

它不表示为F = m + a + ma或这些参数的其他线性组合。确实,只有质量与加速度之间的相互作用才在物理上有意义。


2
当对以变异性为特征的数据进行建模时,适用于无变异性的不可辩驳的物理方程式的方法不一定适用,也不一定适用或不一定是真实的或准确的或有生产力的。
rolando2

2

有或没有主效应的相互作用。 蓝色是一种情况。 红色另一个。 在三个连续的测量中测试了它们各自的效果。

包含双向交互但没有主要影响是否有效?

是的,它可能是有效的,甚至是必要的。例如,如果在2.中,您将包括一个主要影响因素(蓝色与红色条件的平均差),这会使模型变得更糟。

如果您的假设仅是关于相互作用的,那您还需要包括主要影响吗?

不管是否有主要影响,您的假设可能都是正确的。但是该模型可能需要它来最好地描述基础过程。因此,是的,您应该尝试是否使用。

注意:您需要将“连续”自变量的代码居中(在示例中为度量)。否则,模型中的相互作用系数将不会对称分布(示例中首次测量没有系数)。



1

是的,尽管很少见,但这可能是有效的。但是在这种情况下,您仍然需要对主要效果进行建模,然后将其回归。

确实,在某些模型中,只有相互作用是有趣的,例如药物测试/临床模型。例如,这是广义心理生理相互作用(gPPI)模型的基础:感兴趣的体素/区域y = ax + bxh + ch在哪里?x/yh模块/事件设计。

在此模型中,两者ac都将回归,仅b保留以进行推断(β系数)。的确,ac代表了我们的情况下虚假活动,只有b代表什么不能被虚假的活动,与任务的相互作用来解释。


1

简短的答案:如果您在固定效果中包括交互,那么无论您是否在代码中专门包括它们,都会自动包括 主要效果。唯一的区别是您的参数化,即模型中的参数是什么意思(例如,它们是分组平均值还是与参考水平不同)。

一种一种++一种一种是(类别)因子。

ÿñξσ2一世ñX一种XX一种ξ{X一种XX一种}ξ{X一种}{X一种}={X一种XX一种}

我刚刚看到David Beede提供了一个非常相似的答案(道歉),但是我想我会把这个留给那些对线性代数观点反应良好的人。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.