多元线性回归用于假设检验

我熟悉使用多个线性回归来创建各种变量的模型。但是，我很好奇是否曾经使用回归测试来进行任何类型的基本假设测试。如果是这样，这些方案/假设是什么样的？

这是一个简单的例子。我不知道您是否熟悉R，但是希望该代码可以不言自明。

set.seed(9)        # this makes the example reproducible
N = 36
    # the following generates 3 variables:
x1 =     rep(seq(from=11, to=13),           each=12)
x2 = rep(rep(seq(from=90, to=150, by=20),   each=3 ), times=3)
x3 =     rep(seq(from=6,  to=18,  by=6 ),  times=12)
cbind(x1, x2, x3)[1:7,]    # 1st 7 cases, just to see the pattern
      x1  x2 x3
 [1,] 11  90  6
 [2,] 11  90 12
 [3,] 11  90 18
 [4,] 11 110  6
 [5,] 11 110 12
 [6,] 11 110 18
 [7,] 11 130  6 
    # the following is the true data generating process, note that y is a function of
    #   x1 & x2, but not x3, note also that x1 is designed above w/ a restricted range,
    #   & that x2 tends to have less influence on the response variable than x1:
y  = 15 + 2*x1 + .2*x2 + rnorm(N, mean=0, sd=10)

reg.Model = lm(y~x1+x2+x3)    # fits a regression model to these data

现在，让我们看看它是什么样的：

. . . 
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -1.76232   27.18170  -0.065  0.94871   
x1           3.11683    2.09795   1.486  0.14716   
x2           0.21214    0.07661   2.769  0.00927 **
x3           0.17748    0.34966   0.508  0.61524   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
. . . 
F-statistic: 3.378 on 3 and 32 DF,  p-value: 0.03016 

我们可以专注于输出的“系数”部分。模型估计的每个参数都有自己的行。实际估算本身在第一栏中列出。第二列列出了估计值的标准误差，即，如果我们要一遍又一遍地重复此过程，则估计将在一个样本之间“反弹”多少。更具体地，它是估计的采样分布的标准偏差的估计。如果将每个参数估计值除以其SE，我们将得到t分数，该分数在第三列中列出；这用于假设检验，专门用于检验参数估计值是否与0显着不同。最后一列是与该t分数相关的p值。如果原假设是真实的，则是找到远离 0 的估计值的可能性。请注意，如果原假设不成立，则不清楚该值是否告诉我们任何有意义的信息。

如果我们在系数表和上面的真实数据生成过程之间来回浏览，我们会发现一些有趣的事情。截距估计为-1.8，其SE为27，而真实值为15。由于关联的p值为.95，因此不会将其视为与0“显着不同”（II型错误），但是尽管如此，它仍在真实价值的一个SE之内。因此，从真实价值及其应该波动的角度来看，这种估计没有什么极端的事情。我们只是没有足够的能力将其与0相区别。同一故事或多或少地适用于x1x2$.21214\approx.2$x3x1预测响应变量比单独预测更好。另一种说法是，是否应将所有估计值都认为不能与0相区别。该测试的结果表明，至少有一些参数估计值不等于0，这是正确的决定。由于上面有4个测试，没有这个，我们将无法避免多重比较的问题。（请记住，由于p值是随机变量-如果重新进行实验，则每个实验之间是否有重要意义会有所不同，如果重新运行该实验，则这些p-值可能会彼此不一致。此处的CV：多元回归中系数的重要性：显着t检验与非显着F统计量，这里是相反的情况：回归如何显着，而所有预测变量都不重要？，这里：回归中的F和t统计信息。）也许奇怪的是，此示例中没有I型错误。无论如何，本段中讨论的所有5个检验都是假设检验。

从您的评论中，我认为您可能还想知道如何确定一个解释变量是否比另一个解释变量更重要。这是一个非常常见的问题，但非常棘手。想象一下，要根据运动员的身高和体重来预测一项运动成功的潜力，并想知道哪个更重要。一种常见的策略是查看哪个估计系数更大。但是，这些估算值特定于所使用的单位：例如，重量系数将根据使用的磅还是千克而变化。另外，还不清楚如何对等/比较磅和英寸，或公斤和厘米。人们采用的一种策略是标准化（即变成z得分）他们的数据。然后这些尺寸以通用单位（即标准差）为单位，并且系数类似于r得分。此外，可以测试一个r分数是否大于另一个r分数。不幸的是，这并不能使您走出困境。除非真实r恰好为0，否则估计的r在很大程度上受所用协变量值范围的驱动。（我不知道识别它会多么容易，但是@whuber在这里的绝佳答案是：$R^2$有用或危险，说明了这一点；要看到它，只需考虑如何$r=\sqrt{r^2}$因此，可以说的最好的是，一个特定范围内的解释变量的可变性比确定另一个范围内另一解释性变量的可变性对确定响应水平更为重要。

回归模型中的基本检验是完全缩减检验。在这里比较两个回归模型，完整模型中包含所有项，精简测试包含这些项的子集（精简模型需要嵌套在完整模型中）。然后，测试检验零假设，即简化模型与完整模型一样适合，并且任何差异都是偶然的。

统计软件的常见打印输出包括整体F检验，这只是完全简化的检验，其中简化的检验是仅拦截模型。他们还经常为每个预测变量打印一个p值，这只是一系列完全精简模型测试，在每个精简模型测试中，均不包含该特定术语。有许多方法可以使用这些测试来回答感兴趣的问题。实际上，几乎可以使用回归模型和完全简化的测试来计算入门统计课程中教授的每个测试，并且在许多情况下结果是相同的，而在其他情况下则非常接近。