Logistic回归-多共线性问题/陷阱


16

在Logistic回归中,是否需要像在直接进行OLS回归中一样关注多重共线性?

例如,对于存在多重共线性的逻辑回归,是否需要谨慎(就像在OLS回归中一样),要从Beta系数中得出推断?

对于OLS回归,高多重共线性的一个“解决方案”是岭回归,是否有类似的逻辑回归?另外,删除变量或组合变量。

在逻辑回归中减少多重共线性影响的合理方法是什么?它们与OLS本质上相同吗?

(注意:这并非旨在进行设计的实验)

Answers:


16

关于多重共线性的所有相同原理,就像对OLS一样,都适用于逻辑回归。可以使用相同的诊断方法来评估多重共线性(例如,VIF,条件数,辅助回归),并且可以使用相同的降维技术(例如,通过主成分分析来组合变量)。

chl的这个答案将带您进入一些资源和R软件包,用于拟合惩罚性logistic模型(以及对这类惩罚性回归程序的良好讨论)。但是您对多共线性的“解决方案”的一些评论让我有些不安。如果您只关心估计非共线性变量的关系,那么这些“解决方案”可能会很好,但是,如果您对估计共线性变量的系数感兴趣,那么这些技术将无法解决您的问题。尽管多重共线性问题在技术上是无法将预测变量的矩阵求逆的,但它在逻辑上类似,因为预测变量不是独立的,并且无法唯一地确定其影响。


2
(+1)是的,存在逻辑回归的一些惩罚性版本(或更普遍地说,是GLM),请参见那里的一些参考资料:stats.stackexchange.com/questions/4272/…
chl

@chl,谢谢。我已更新为链接到您之前的答案。
安迪W

太谢谢了。这只是对您已经非常出色的回复的评论。
chl
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.