在回归中添加更多变量且幅度更大时，符号翻转

基本设置：

回归模型： $y = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon$ 其中C是控制变量的向量。

我感兴趣的是 $\beta$ 并期待 $\beta_1$ 和 $\beta_2$是负面的。但是，模型中存在多重共线性问题，相关系数由corr（$x_1$，$x_2)=$ 0.9345，corr（$x_1$，$x_3)=$ 0.1765，corr（$x_2$，$x_3)=$ 0.3019。

所以 $x_1$ 和 $x_2$是高度相关的，因此它们实际上应该提供相同的信息。我运行三个回归：

1. 排除 $x_1$变量; 2.排除$x_2$变量; 3.两者兼有的原始模型$x_1$ 和 $x_2$。

结果：
对于回归1和2，它提供了预期的符号$\beta_2$ 和 $\beta_1$分别且幅度相似。和$\beta_2$ 和 $\beta_1$ 在对标准误差进行HAC校正后，两个模型中的均值在10％的水平上均显着。 $\beta_3$ 在两个模型中均为正，但不显着。

但是3 $\beta_1$ 具有预期的符号，但符号为 $\beta_2$ 是正的，其幅度是其两倍 $\beta_1$绝对价值 而且两者$\beta_1$ 和 $\beta_2$无关紧要。此外，$\beta_3$ 与回归1和2相比减少了近一半。

我的问题是：

为什么在3中 $\beta_2$ 变得积极并且远大于 $\beta_1$绝对价值？是否有任何统计原因$\beta_2$可以翻转标志并且幅度很大吗？还是因为模型1和2遭受膨胀的遗漏变量问题$\beta_3$ 提供 $x_2$对y有积极影响吗？但是然后在回归模型1和2中，$\beta_2$ 和 $\beta_1$ 应该是积极的，而不是消极的，因为 $x_1$ 和 $x_2$ 在回归模型3中为正。

想想这个例子：

根据人们口袋中的硬币收集数据集，y变量/响应是硬币的总价值，变量x1是硬币的总数，x2是不是四分之一的硬币（或最大值）的普通硬币是用于本地的）。

很容易看出，使用x1或x2进行的回归将给出正斜率，但是当在模型中同时引入x1或x2时，x2的斜率将为负，因为增加较小硬币的数量而不增加硬币总数将意味着替换大硬币和小硬币，并降低整体价值（y）。

任何时候只要x变量相关，就可能发生相同的事情，在一个术语本身存在时和存在其他术语时，这些符号很容易相反。

您已经回答了自己的问题-共线性。

一点解释： $x_1$ 和 $x_2$高度共线。但是，当您将两者都输入回归时，回归试图控制其他变量的影响。换句话说，按住$x_1$ 常数，什么变化 $x_2$ 做 $y$。但是，它们之间的联系非常紧密，这意味着这个问题很愚蠢，并且可能会发生奇怪的事情。

为什么在3中，β2的符号变为正，并且绝对值比β1大得多？有没有统计上的理由使β2可以翻转符号并且幅度较大？

简单的答案是没有深层原因。

考虑的方式是，当多行方法趋于完美时，最终从拟合中获得的特定值将越来越依赖于数据的越来越小细节。如果要从相同的基础分布中采样相同数量的数据然后进行拟合，则可以获得完全不同的拟合值。