在Logistic回归中,是否需要像在直接进行OLS回归中一样关注多重共线性?
例如,对于存在多重共线性的逻辑回归,是否需要谨慎(就像在OLS回归中一样),要从Beta系数中得出推断?
对于OLS回归,高多重共线性的一个“解决方案”是岭回归,是否有类似的逻辑回归?另外,删除变量或组合变量。
在逻辑回归中减少多重共线性影响的合理方法是什么?它们与OLS本质上相同吗?
(注意:这并非旨在进行设计的实验)
在Logistic回归中,是否需要像在直接进行OLS回归中一样关注多重共线性?
例如,对于存在多重共线性的逻辑回归,是否需要谨慎(就像在OLS回归中一样),要从Beta系数中得出推断?
对于OLS回归,高多重共线性的一个“解决方案”是岭回归,是否有类似的逻辑回归?另外,删除变量或组合变量。
在逻辑回归中减少多重共线性影响的合理方法是什么?它们与OLS本质上相同吗?
(注意:这并非旨在进行设计的实验)
Answers:
关于多重共线性的所有相同原理,就像对OLS一样,都适用于逻辑回归。可以使用相同的诊断方法来评估多重共线性(例如,VIF,条件数,辅助回归),并且可以使用相同的降维技术(例如,通过主成分分析来组合变量)。
chl的这个答案将带您进入一些资源和R软件包,用于拟合惩罚性logistic模型(以及对这类惩罚性回归程序的良好讨论)。但是您对多共线性的“解决方案”的一些评论让我有些不安。如果您只关心估计非共线性变量的关系,那么这些“解决方案”可能会很好,但是,如果您对估计共线性变量的系数感兴趣,那么这些技术将无法解决您的问题。尽管多重共线性问题在技术上是无法将预测变量的矩阵求逆的,但它在逻辑上类似,因为预测变量不是独立的,并且无法唯一地确定其影响。