在多元回归中“控制”和“忽略”其他变量之间有区别吗?


50

多元回归中解释变量的系数告诉我们该解释变量与因变量的关系。所有这些,同时“控制”其他解释变量。

到目前为止,我的看法:

在计算每个系数时,未考虑其他变量,因此我认为它们被忽略。

当我认为“受控”和“被忽略”这两个术语可以互换使用时,我说的对吗?


2
直到我看到两个人都想出了您启发@gung提供的信息,我才对这个问题不那么热心。
DWin 2013年

1
您没有意识到我们在其他地方引发此问题的对话@DWin。试图在评论中解释这一点太多了,因此我要求OP将其作为一个正式问题。我实际上认为,明确指出b / t的区别是忽略和控制回归中的其他变量是一个很好的问题,我很高兴在这里进行讨论。
gung-恢复莫妮卡

2
另请参阅此处
Glen_b

1
这个问题中使用的数据是否可用,因此我们可以自己作为教育样本使用它。
拉里

Answers:


88

控制某件事和忽略某件事不是一回事。让我们考虑一个只有3个变量存在的Universe:,和。我们想要建立一个预测的回归模型,并且我们特别希望它与关系。有两种基本的可能性。 YX1X2YX1

  1. 我们可以评估之间的关系和,同时控制了: 或者,X1YX2
    Y=β0+β1X1+β2X2
  2. 我们可以评估之间的关系和而忽略X1Y X2

    Y=β0+β1X1

当然,这些是非常简单的模型,但是它们构成了查看和之间的关系如何体现的不同方式。通常,在两个模型中,估计的可能相似,但它们可能完全不同。在确定它们有多大不同时,最重要的是和之间的关系(或不存在它们之间的关系)。考虑一下这个数字: X1Yβ^1X1X2

在此处输入图片说明

在这种情况下,与相关。由于该图是二维的,因此它会忽略(也许具有讽刺意味),因此我用不同的符号和颜色表示了每个点的值(下面的伪3D图提供了另一种尝试显示结构的方法数据)。如果我们拟合忽略的回归模型,则会得到黑色实线。如果我们符合这个模型控制为,我们会得到一个回归平面,这又是很难的情节,所以我通过平面绘制三片,其中,,且X 2 X 2 X 2 X 2 X 2 X 2 = 1 X 2 = 2 X 2 = 3 X 1 Y X 2 X 2X1X2X2X2 X2X2X2=1X2=2X2=3。因此,我们有表现之间的关系线和当我们持有控制为。值得注意的是,我们看到控制不会产生单行,而是产生一组行。 X1YX2 X2

在此处输入图片说明

考虑忽略控制另一个变量之间区别的另一种方法是考虑边际分布条件分布之间的区别。考虑一下这个数字:

在此处输入图片说明

这是从我在这里的答案中得出的:条件高斯分布背后的直觉是什么?

如果查看绘制在主图左侧的正态曲线,则为的边际分布。如果我们忽略与关系,它就是的分布。在主图中,有两条法线曲线表示和时条件分布。条件分布控制的级别,而边际分布忽略它。 Y X Y X 1 = 25 X 1 = 45 X 1YYXYX1=25X1=45X1


2
龚,这很有启发性,我很高兴自己在回答这个问题时犯了“忽略”一词的错误。我现在将尝试找出统计数据包如何“控制”其他变量。(我首先想到的是,他们使用诸如皮尔逊相关系数之类的度量。尽管有许多解释变量,但事情会变得很混乱)。谢谢您的回答!
Siddharth Gopi 2013年

1
不客气,@ garciaj,尽管我还没有完成;-)。我正在寻找另一个数字;我可能必须从头开始。
gung-恢复莫妮卡

4
第一个图中的关键思想是这些点位于三维空间中,在计算机屏幕上的平面上有红色圆圈,在平行平面上的蓝色三角形在屏幕前面,绿色在飞机上加一点。回归平面向右下方倾斜,但随着其从屏幕移向您而向上倾斜。请注意,发生这种现象是因为X1和X2是相关的,如果它们不相关,则估计的beta将相同。
gung-恢复莫妮卡

1
预测变量之间的这种关联(例如@gung场景)通常是辛普森悖论的基础。在一个具有三个以上变量的宇宙中,记住它可能会潜伏您的推论是很明智的。
FairMiles

2
@MSIS,当您控制模型中的变量时,模型会尝试将其保持不变(固定),以便估算模型中的所有其他内容。但是,这只是一次尝试,并且容易出现随机错误,因此它不一定与运行带有固定为给定值的变量的算例所得到的结果相同。
gung-恢复莫妮卡

8

它们不会被忽略。如果它们被“忽略”,它们将不会出现在模型中。感兴趣的解释变量的估计是有条件的其他变量。估计是在模型中“在”其他变量的上下文中或“允许”其他变量的影响下形成的。


估计当然要受其他变量的影响。但是我们必须通过在模型中引入所谓的其他因素来净化它。但是,有时这些因素可能属于分类性质,并且比有效的解决方案引起更多的问题。
Subhash C. Davar
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.