为什么添加解释变量时残差平方和不增加？

9

在我涉及OLS的计量经济学教科书（Introductory Econometrics）中，作者写道：“当添加另一个解释变量时，SSR必须下降。” 为什么？

— 徐ric
source

1

本质上是因为如果与下一个变量不存在线性关系（0个样本部分相关性），则SSR将保持不变。如果存在任何关系，则可以使用下一个变量来减少SSR。

— Glen_b-恢复莫妮卡

3

该声明在本质上是正确的，但并非完全正确：添加任何已存在变量的线性组合的变量后，SSR将保持不变（而不是下降）。毕竟，通过忽略新变量，您可以获得与旧变量相同的SSR最小值，因此添加新变量永远不会使情况变得更糟。

— ub

我在这里回答了类似的问题：stats.stackexchange.com/questions/306267/…。您可能会发现它很有用。

— 乔什（Josh）

18

假设您具有线性回归模型，为便于表示，请首先考虑一个，然后考虑两个协变量。这可以归纳为两组协变量。第一个模型是，第二个模型是这可以通过最小化残差平方和来解决，对于模型一，我们要最小化，对于模型二，您要最小化。假设您已经找到了模型1的正确估计量，然后可以通过为模型2选择相同的值来获得模型2中完全相同的残差和平方

一世 ： ÿ_{一世} = β_{0} + β_{1个} X_{1个 一世} + ϵ_{一世}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

一世 一世 ： ÿ_{一世} = β_{0} + β_{1个} X_{1个 一世} + β_{2} X_{2 一世} + ϵ_{一世}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$ 并让。现在，可以通过为搜索更好的值来找到较低的平方和残差。

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

总而言之，模型是嵌套的，从某种意义上说，我们可以用模型1进行建模的所有内容都可以与模型2进行匹配，模型2比模型1更通用。因此，在优化中，模型2具有更大的自由度，因此可以总是找到更好的解决方案。

这实际上与统计数据无关，而是关于优化的普遍事实。

— 凯捷蒂尔·哈沃森
source

1

还没想过，真的很有帮助！

— 徐志坚（Eric Xu）

1

SSR是衡量数据与估计模型之间差异的一种方法。

如果您可以选择考虑另一个变量，则如果此变量包含更多信息，则拟合度自然会更严格，这意味着SSR较低。

— 云天行者
source