常用统计检验为线性模型

命名统计测试的列表非常庞大。许多常见检验依赖于简单线性模型的推论，例如，单样本t检验只是y =β+ε，它是针对零模型y =μ+ε进行检验的，即β=μ，其中μ为零值-通常为μ= 0。

我发现这对教学目的比死记硬背地学习命名模型，何时使用它们以及它们的假设好像它们之间没有任何关系相比更具启发性。这种方法促进并不能增进理解。但是，我找不到一个很好的资源来收集这些信息。我对基本模型之间的等效性感兴趣，而不是对它们的推断方法感兴趣。尽管据我所知，所有这些线性模型的似然比检验得出的结果与“经典”推论相同。

下面是我已经了解迄今为止等价，忽略误差项 $\varepsilon \sim \mathcal N(0, \sigma^2)$ ，并假设所有零假设是的效果由于缺少：

单样本t检验： $y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$ 。

配对样本t检验： $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

这与成对差异的一样本t检验相同。

两样本t检验： $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

其中x是指标（0或1）。

Pearson相关： $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

注意，与两个样本的t检验相似，后者只是在二元x轴上进行回归。

Spearman相关： $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

这与对秩和变换的x和y进行皮尔逊相关性相同。

单向ANOVA： $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

$x_i$ $\beta$ $x$ $Y = \beta * X$

$y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

$\beta_i$ $X_i$ $\mathcal{H}_0$

我们可以在此线性模型列表中添加更多“命名测试”吗？例如，多元回归，其他“非参数”检验，二项式检验或RM-ANOVA？

更新：关于SOA线性模型的方差分析和t检验已经提出并回答了。请参阅此问题和带标签的相关问题。

— 乔纳斯·林德洛夫（JonasLindeløv）
source

我认为这些比较是适当的，但在某些时候也存在细微的差异。例如，采用单向方差分析：线性回归将为您提供系数，而在大多数软件包中，通过Wald检验（可能不合适），每个系数的显着性，方差分析将提供单个p值，指示是否存在系数之一明显不同于零。零模型和目标回归模型之间的似然比检验可能更具可比性。因此，我不会完全均衡这些测试/模型。

— IWS

好点子; 我更新了问题，说：“我对基本模型之间的等效性感兴趣，而不是对它们的推论方法感兴趣。” 就单向方差分析和交互作用项而言，就我的测试而言，单向方差分析和交互作用项的似然比测试产生的p值与“经典”分析相同。

— 乔纳斯·林德洛夫（JonasLindeløv）

足够公平，但除了推论外，请注意，在处理非线性（尽管也可以使用这些“命名测试”对变换进行测试，但样条是另一回事）或处理异方差时，回归模型也提供了更大的灵活性，甚至没有提及家族还处理非连续因变量的广义模型。尽管如此，我仍然可以看到将命名测试解释为具有教学意义的回归模型的局限性是有价值的，因此+1

— IWS

Spearman等级相关性真的是线性模型吗？

— Martin Dietz

@MartinDietz：是的，在对x和y进行等级转换后，它是线性的。R代码：x = rnorm(100); y = rnorm(100); summary(lm(rank(x) ~ rank(y))); cor.test(x, y, method='spearman')

— 乔纳斯·林德洛夫（JonasLindeløv），2017年

这不是一个详尽的清单，但是如果您包含广义线性模型，则此问题的范围将变得更大。

例如：

趋势的Cochran-Armitage检验可以用以下公式表示：

Ë [Logit （ p ） | Ť] = β_{0} + β_{1个} Ť H_{0} ： β_{1个} = 0

$E[\mbox{logit} (p) | t] = \beta_0 + \beta_1 t \qquad \mathcal{H}_0: \beta_1 = 0$

该独立的Pearson卡方检验的 $p \times k$ 列联表是对单元频率的对数线性模型：

Ë [日志 （ μ ）] = β_{0} + β_{一世 。} + β_{。 Ĵ} + γ_{一世 Ĵ} 一世 ， Ĵ > 1个 H_{0} ： γ_{一世 Ĵ} = 0 ， 一世 ， Ĵ > 1个

$E[\log (\mu)] = \beta_0 + \beta_{i.} + \beta_{.j} + \gamma_{ij} \quad i,j > 1 \qquad\mathcal{H}_0: \gamma_{ij} = 0, \quad i,j > 1$

同样，通过使用Huber White鲁棒误差估计可以很好地近似不等方差的t检验。

— 亚当
source