两个变量的总和如何比单个变量解释更多的方差？

当两个预测变量负相关时，我得到的总和与第三个变量的相关性令人困惑。是什么导致这些令人困惑的结果？

示例1：两个变量的总和与第三个变量之间的相关性

考虑Guildford 1965年文本第427页的公式16.23，如下所示。

困惑的发现：如果两个变量都将.3与第三个变量相关联，并且将-.7彼此相关联，则公式得出的值为.52。如果两个变量各自仅与第三个变量相关联为0.2，那么总和与第三个变量的相关性如何为0.52？

示例2：两个变量和第三个变量之间的多重相关性是什么？

考虑Guildford 1965年文本的404页上的公式16.1（如下所示）。

令人困惑的发现：情况相同。如果两个变量都将.3与第三个变量相关联，并将-.7彼此相关联，则公式得出的值为.52。如果两个变量各自仅与第三个变量相关联为0.2，那么总和与第三个变量的相关性如何为0.52？

我尝试了一个快速的蒙特卡洛模拟，它证实了吉尔福德公式的结果。

但是，如果两个预测变量各自预测第三个变量的方差的4％，那么它们之和如何能预测1/3的方差？

资料来源：《心理学和教育基础统计学》，第四版，1965年。

澄清说明

我正在处理的情况涉及基于现在衡量个人能力来预测他们的未来表现。

下面的两个维恩图显示了我对情况的理解，旨在澄清我的困惑。

该维恩图（图1）反映了x1和C之间的零阶r = .2。在我的领域中，有许多这样的预测变量可以适度地预测标准。

该维恩图（图2）反映了两个这样的预测变量x1和x2，每个预测变量在r = .2时预测C，并且两个预测变量呈负相关，r =-。7。

我不知所措，无法想象两个r = .2预测变量之间的关系，可以使它们一起预测C的25％的方差。

我寻求帮助来了解x1，x2和C之间的关系。

如果（有人回答我的问题建议）x2充当x1的抑制变量，那么第二维恩图中的哪个区域被抑制？

如果有一个具体的例子会有所帮助，我们可以认为x1和x2是两个人的能力，而C是四年后的四年制大学GPA。

我在设想抑制器变量如何导致两个r = .2零阶r的8％解释方差扩大并解释C的25％方差时遇到了麻烦。一个具体的示例将是一个非常有用的答案。

当两个预测变量都包含较大的扰动因子但符号相反时，可能会发生这种情况，因此，将它们相加时，扰动就会抵消，从而使您更接近第三个变量。

让我们用一个更极端的例子来说明。假设是独立的标准正态随机变量。现在让$X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

假设恰好是您的第三个变量，是您的两个预测变量，而是您一无所知的潜在变量。A与Y的相关性为0，B与Y的相关性非常小，接近0.00001。*但是与的相关性为1。A ，B X A + B $Y$$A, B$$X$$A+B$$Y$

*对于B的标准偏差略大于1.有微小修正。

将这三个变量视为其他不相关变量的线性组合可能会有所帮助。 为了提高我们的洞察力，我们可以对它们进行几何描绘，与它们进行代数运算，并根据需要提供统计描述。

想想，那么，三不相关的零均值，单位方差的变量，，和。从这些构造如下：Ÿ $X$$Y$$Z$

$$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$$

几何解释

下图是您了解这些变量之间的关系所需的全部信息。

此伪3D图显示了坐标系中的，，和向量之间的角度反映了它们的相关性（相关系数是角度的余弦值）。和之间的较大负相关关系反映在它们之间的钝角上。和与的小的正相关关系反映在它们的垂直度上。但是，和的总和直接位于正下方V W U + V X ，Y ，Z U V U V W U V $U$$V$$W$$U+V$$X,Y,Z$$U$$V$$U$$V$$W$$U$$V$$W$，形成一个锐角（大约45度）：存在出乎意料的高正相关。

---

代数计算

对于那些想要更严格的人，这里是代数，以备份图形中的几何。

所有这些平方根都位于其中，以使，和也具有单位方差：使得计算它们的相关性变得容易，因为相关性将等于协方差。因此$U$$V$$W$

$$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$$

因为和不相关。同样，$X$$Y$

$$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$$

和

$$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$$

最后，

$$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$$

因此，这三个变量确实具有所需的相关性。

---

统计说明

现在我们可以看到为什么一切都会如此：

• $U$和的负相关性很强，为这是因为与的负值成正比，加上的小倍数形式的一点“噪声” 。$V$$-7/10$$V$$U$$Y$

• $U$和具有弱正相关性，因为包括一小部分，再加上和的倍数形式的大量噪声。$W$$1/5$$W$$U$$Y$$Z$

• $V$和具有弱正相关性，因为（当乘以，不会改变任何相关性）是三件事的总和：$W$$1/5$$W$$\sqrt{75}$

  • $\sqrt{17}Y$，它与正相关；$V$
  • $-\sqrt{3}X$，它与的负相关性降低了整体相关性；$V$
  • 的倍数会引入很多噪声。$Z$

• 不过，与正相关，因为它是不包括的那部分的倍数。WW$U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$$W$$W$$Z$

另一个简单的例子：

• 设$z \sim \mathcal{N}(0,1)$
• 令$x_1 \sim \mathcal{N}(0,1)$
• 令（因此）$x_2 = z - x_1$$z = x_1 + x_2$

然后：

• $\mathrm{Corr}(z, x_1) = 0$
• $\mathrm{Corr}(z, x_2) \approx .7$
• $\mathrm{Corr}(z, x_1 + x_2) = 1$

从几何上讲，正在发生的事情就像在WHuber的图形中一样。从概念上讲，它可能看起来像这样：

（在您的数学职业的某个时刻，了解随机变量是向量，是内积，因此相关性是两个随机变量之间的角度的余弦值，可能会很有启发性。）$E[XY]$

$x_1$和不相关，因此它们是正交的。令表示两个向量之间的角度。$z$$\theta$

• $\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
• $\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
• $\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

要加入Flounderer的评论注释中的讨论，可以将视为某个信号，将视为某些噪声，将有噪声的信号视为信号与噪声。将添加到等效于从噪声信号减去噪声。− x 1 x 2 z − x $z$$-x_1$$x_2$$z$$-x_1$$x_1$$x_2$$-x_1$$x_2$

解决您的评论：

尽管有数学运算，但当两个变量之和预测了三个变量的方差的4％时，我仍然看不到两个变量之和的逻辑解释了第三个变量的25％以上的方差。仅将两个变量相加，如何将8％的解释方差变成25％的解释方差？

这里的问题似乎是术语“解释了方差”。就像统计中的许多术语一样，选择它的目的是使其听起来比实际意义更重要。

这是一个简单的数值示例。假设某些变量具有值$Y$

$$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$$

和是小倍数加上一些错误。假设的值比的值大得多。$U$$Y$$R$$R$$Y$

$$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$$

并且，因此$U = R + 0.1Y$

$$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$$

并假设另一变量使得$V=-R+0.1Y$

$$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$$

然后，和与相关性很小，但是如果将它们加在一起，则对数将精确地为，与完美相关。V ÿ ř 0.2 ÿ $U$$V$$Y$$r$$0.2Y$$Y$

用方差解释，这是很合理的。解释方差的比例很小因为大多数的方差是由于。同样，大多数方差是由于引起的。但是解释了所有方差。这是每个变量的图：U U R V R Y U + $Y$$U$$U$$R$$V$$R$$Y$$U+V$

但是，当您尝试在另一个方向上使用术语“解释的方差”时，会造成混淆。这是因为说某事“解释”某事是一种单向关系（有很强的因果关系）。在日常语言中，可以解释不解释。教科书的作者似乎借用了“解释”一词来谈论相关性，希望人们不会意识到共享方差成分与“解释”实际上并不相同。B B $A$$B$$B$$A$