多元线性回归与几个单变量回归模型

在单变量回归设置中，我们尝试建模

其中的向量Ñ观察和X ∈ [R Ñ × 中号与设计矩阵米预测因子。该解决方案是β 0 = （X Ť X ）- 1 X ý。$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

在多元回归设置中，我们尝试建模

其中是矩阵Ñ观察和p不同潜在变量。该解决方案是β 0 = （X Ť X ）- 1 X ý。$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

我的问题是，与执行不同的单变量线性回归有何不同？我在这里读到，在后一种情况下，我们考虑了因变量之间的相关性，但我从数学上看不到它。$p$

在经典多元线性回归的背景下，我们有以下模型：

其中代表自变量，代表多个响应变量，是iid高斯噪声项。噪声的均值为零，并且可以在响应变量之间建立关联。权重的最大似然解等效于最小二乘解（不考虑噪声相关性）[1] [2]：ÿ $X$$Y$$\epsilon$

这等效于为每个响应变量独立解决一个单独的回归问题。这可以从以下事实看出：第列（包含第个输出变量的权重）可以通过将乘以第th列（包含第个响应变量的值）。β我（X Ť X ）- 1 X Ť我ÿ $i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

但是，多元线性回归不同于单独解决单个回归问题，因为统计推断程序考虑了多个响应变量之间的相关性（例如，参见[2]，[3]，[4]）。例如，噪声协方差矩阵显示在采样分布，测试统计数据和间隔估计中。

如果我们允许每个响应变量具有自己的一组协变量，则会出现另一个差异：

其中表示第个响应变量，而和表示其对应的协变量和噪声项集。如上所述，噪声项可以在响应变量之间相关。在这种情况下，存在比最小二乘方更有效的估计器，并且不能简化为为每个响应变量解决单独的回归问题。例如，请参见[1]。我X 我ε $Y_i$$i$$X_i$$\epsilon_i$

参考文献

1. Zellner（1962）。估算看似无关的回归和聚合偏差检验的有效方法。
2. Helwig（2017）。多元线性回归[幻灯片]
3. 福克斯和韦斯伯格（2011）。R中的多元线性模型。[附录：应用回归的R伴侣]
4. Maitra（2013）。多元线性回归模型。[幻灯片]