为什么在多重共线性的情况下Ridge回归能很好地工作?


14

我正在学习有关岭回归的知识,并且知道在存在多重共线性的情况下,岭回归往往会更好地工作。我想知道为什么这是真的吗?直观的答案或数学的答案都将令人满意(两种类型的答案都将更加令人满意)。

我也知道 β^ 总是可以得到的,但是在存在精确共线性的情况下(一个独立变量是另一个的线性函数),岭回归的效果如何?


5
关于第二个问题:如果您具有精确的共线性,则可以删除其中一个变量。您不需要岭回归。
彼得·弗洛姆

Answers:


13

考虑2个预测变量的简单情况(x1x2)。如果两个预测变量之间都没有共线性或具有很小的共线性,并且分布良好,那么我们正在对数据拟合平面(y是第3维),通常会有一个非常清晰的“最佳”平面。但是,由于存在共线性,这种关系实际上是穿过3维空间的一条线,周围散布着数据。但是回归程序会尝试将一个平面拟合到一条直线上,因此有无数个与该直线完美相交的平面,选择哪个平面取决于数据中的影响点,只需稍微改变其中一个点即可, “最佳”拟合平面发生了很大变化。岭回归的作用是将选定的平面拉向更简单/更细的模型(偏向0)。考虑一下从原点(0,0,0)到平面的橡皮筋,该橡皮筋将平面拉向0,而数据会将其拉开,这是一个很好的折衷方案。


@Trynna,有图片说明了Greg关于共线性问题的看法。
ttnphns

1
这是一个很好的几何解释,说明了为什么在OLS回归中多重共线性是一个问题!但是我还是不太明白为什么将飞机拉到原点可以解决这个问题。
TrynnaDoStat 2014年

2
@TrynnaDoStat,主要关注的是估计的可变性,由于具有多重共线性,单个数据点的微小变化会疯狂地摆动系数估计(没有偏差)。通过偏向0,系数的估计值变化不大(因为橡皮筋将其拉向0),而单个数据点的变化很小,从而降低了变异性。
格雷格·斯诺

感谢@ttnphns提供的图片链接:没有它,很容易就可以得到答案。现在,格雷格的答案很清楚了,我需要在ESLII(第二版)中理解这条线:“一个变量上的大正系数可以通过相关表亲上的类似大负系数来抵消。通过在大小上施加大小约束系数这个问题得到缓解。”
Tommaso Guerrini'5
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.