线性回归中t检验和方差分析之间的差异

我想知道线性回归中t检验和ANOVA之间有什么区别？

是t检验来检验任何一个斜率和截距是否均值为零，而方差分析是用来检验所有斜率是否均均值为零吗？这是它们之间的唯一区别吗？
在简单的线性回归中，即只有一个预测变量的情况下，只有一个斜率可以估计。那么，t检验和ANOVA是否等效？如果是的话，假设它们使用不同的统计量（t检验使用t统计量，而ANOVA则使用F统计量），怎么做？

regression anova t-test

— 提姆
source

广告1）在线性回归中，我通常将ANOVA理解为模型拟合优度的一种度量，即确定模型（回归线）是否解释了总变异性的重要部分。这个问题是否等于所有斜率都为零，这个问题确实很有趣。广告2）在这种情况下，我在t检验和回归方差分析中获得的p值几乎相同。真有趣的定理！

— 好奇，

Answers:

通用线性模型使我们可以将ANOVA模型编写为回归模型。假设我们有两组，每个组都有两个观测值，即向量中有四个观测值。然后，原始的，overparametrized模型是，其中是预测值的矩阵，即，虚设编码表示变量： $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

的参数不能被识别为因为具有秩2（不可逆）。要改变这种状况，我们引入约束（治疗对比），这为我们提供了新的模式： $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

$\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

$t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

$\beta_{j}$ $1 \leq j$ $\psi$

— 卡拉卡尔
source

在1中，ANOVA通常将测试因子变量以及组间方差是否显着。如果您的软件在回归中允许指标变量，您将清楚地看到差异：对于每个虚拟对象，您将获得ap值，该值表明该组的得分是否显着不同于0，因此与适用的参考组或参考值显着不同。。通常，在进行ANOVA测试之前，您不会看到指标本身在多大程度上重要。

F检验是平方t检验。因此，在2中相同。

— 劳工
source

谢谢！（1）指标变量在这里意味着什么？（2）通常，只有在只有两个组的情况下，t检验才等效于方差分析。但是在简单的线性回归中，可能会有两个以上的组，其中组的数量是预测变量在数据集中采用的值的数量。

— 蒂姆（Tim）

（1）指标或类别或因素变量...完全相同。（2）确实，但是您可能想知道ANOVA的一组假人/类别的得分。

— 劳工

谢谢！（2）因此，在简单线性回归中，假设存在两个以上的组，t检验如何等效于方差分析？“一组来自ANOVA的假人/类别得分的表现如何”是什么意思，为什么我想知道呢？

— 蒂姆（Tim）

在OLS回归中，无论您定义多少组，R²（解释方差）都将等于eta²或ANOVA的MSS / TSS。接下来，您可能想知道一组虚拟变量（即一个指标变量）的作用，以说明该变量组本身是否相关以及在何种程度上相关，这与单个类别与参考类别之间差异的重要性不同。

— 劳工