在多元回归中如何处理预测变量之间的高度相关性？

我在类似这样的文章中找到了参考：

根据Tabachnick＆Fidell（1996），双变量相关性大于.70的自变量不应包含在多元回归分析中。

问题：我在多元回归设计中使用了3个> .80的变量，VIF在.2-.3左右，公差〜4-5。我不能排除其中的任何变量（重要的预测变量和结果）。当我对两个相关系数为.80的结果进行回归分析时，它们均保持显着性，每个预测重要方差，并且在包含的所有10个变量中，这两个变量具有最大的部分和半部分的相关系数（5个对照组）。

问题：尽管相关性很高，我的模型仍然有效吗？任何引用都非常欢迎！

感谢您的回答！

我没有使用Tabachnick和Fidell作为准则，而是在一篇涉及预测变量之间高共线性的文章中找到了此参考。

因此，基本上，对于模型中预测变量的数量，我的案例太少了（许多分类的，伪编码的控制变量-年龄，任期，性别等）-72个案例中的13个变量。所有控件都在其中时，条件索引为〜29，而没有控件时则为〜23（5个变量）。

我不能删除任何变量或使用阶乘分析来组合它们，因为从理论上讲，它们具有自身的意义。现在获取更多数据为时已晚。由于我是在SPSS中进行分析的，因此也许最好是找到岭回归的语法（尽管我以前没有做过，对结果的解释对我来说是新的）。

如果很重要，当我进行逐步回归时，相同的2个高度相关的变量仍然是结果的唯一重要预测指标。

而且我仍然不明白这些变量中每个变量的偏相关性是否重要，这可以解释为什么我将它们保留在模型中（以防无法进行岭回归）。

您是否会说“回归诊断：确定共线性的影响数据和来源/ David A. Belsley，Edwin Kuh和Roy E. Welsch，1980”将有助于理解多重共线性？还是其他参考可能有用？

关键问题不是相关性而是共线性（例如，参见Belsley的著作）。最好使用条件索引（也可在和R，SAS以及其他程序中使用）进行测试。相关性既不是共线性的必要条件也不是充分条件。超过10（根据Belsley）的条件索引表示中等共线性，超过30表示严重共线性，但它也取决于共线性涉及哪些变量。

如果您发现高共线性，则意味着您的参数估计值不稳定。也就是说，数据中的小变化（有时在第4个有效数字处）可能会导致参数估计值发生大变化（有时甚至会反转其符号）。这是一件坏事。

解决方法是1）获取更多数据2）删除一个变量3）组合变量（例如，使用偏最小二乘）和4）执行岭回归，这会产生有偏差的结果，但会减少估计值的方差。