为什么匹配对的自由度测试对数减去1？

我习惯知道“自由度”为，在这里有线性模型与，具有等级的设计矩阵，，与，。 $n - r$

y = X β + ϵ

$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}$

y \in R^{n}

$\mathbf{y} \in \mathbb{R}^n$

X \in M_{n \times p} (R)

$\mathbf{X} \in M_{n \times p}(\mathbb{R})$

r

$r$

β \in R^{p}

$\boldsymbol{\beta} \in \mathbb{R}^p$

ϵ \in R^{n}

$\boldsymbol{\epsilon} \in \mathbb{R}^n$

ϵ \sim N (0, σ^{2} I_{n})

$\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \sigma^2 \mathbf{I}_n)$

σ^{2} > 0

$\sigma^2 > 0$

根据我对基本统计信息（即具有线性代数的线性模型）的回忆，匹配对 $t$ 检验的自由度是差值减去 $1$ 。因此，这可能意味着 $\mathbf{X}$ 排名为1。它是否正确？如果不是，为什么 $n-1$ 是配对 $t$ 检验的自由度？

为了理解上下文，假设我有一个混合效果模型

ÿ_{一世 Ĵ ķ} = μ_{一世} + 一些随机效应 + Ë_{一世 Ĵ ķ}

$y_{ijk} = \mu_i + \text{ some random effects} + e_{ijk}$ ，其中

i = 1, 2

$i = 1, 2$ ，

j = 1, \dots, 8

$j = 1, \dots, 8$ 和

k = 1, 2

$k = 1, 2$ 。

μ_{i}

$\mu_i$ 除了固定效果外，没有什么特别之处，并且

e_{i j k} \overset{i i d}{\sim} N (0, σ_{e}^{2})

$e_{ijk} \overset{iid}{\sim}\mathcal{N}(0, \sigma^2_e)$ 。我假设随机效应与该问题无关，因为在这种情况下我们只关心固定效应。

我想为提供一个置信区间 $\mu_1 - \mu_2$ 。

我已经证明 $\bar{d}_\cdot = \dfrac{1}{8}\sum d_j$ 是的无偏估计量 $\mu_1 - \mu_2$ ，其中 $d_j = \bar{y}_{1j\cdot} - \bar{y}_{2j\cdot}$ ， $\bar{y}_{1j\cdot} = \dfrac{1}{2}\sum_{k}y_{1jk}$ 和 $\bar{y}_{21\cdot}$ 的定义与此类似。已计算出点估计 $\bar{d}_{\cdot}$ 。

我已经证明

s_{d}^{2} = \frac{\sum_{Ĵ} （ d_{Ĵ} - {\bar{d}}_{\cdot} ）^{2}}{8 - 1个}

$s^2_d = \dfrac{\sum_{j}(d_j - \bar{d}_{\cdot})^2}{8-1}$ 是

方差的无偏估计量

d_{j}

$d_j$ ，并且因此，

\sqrt{\frac{s_{d}^{2}}{8}}

$\sqrt{\dfrac{s^2_d}{8}}$ 是

的标准错误

{\bar{d}}_{\cdot}

$\bar{d}_{\cdot}$ 。已经计算过了。

现在，最后一部分是计算自由度。对于这一步，我通常尝试找到设计矩阵（显然具有2级），但是我有解决这个问题的方法，它说自由度是。 $8-1$

在找到设计矩阵的秩的上下文中，为什么自由度为？ $8-1$

编辑添加：在此讨论中可能有用的是如何定义测试统计量。假设我有一个参数向量。在这种情况下，（除非我完全丢失了某些内容）。我们实际上是在进行假设检验，其中。然后，通过，将使用对中心进行测试 $\boldsymbol{\beta}$

β = [\begin{matrix} μ_{1个} \\ μ_{2} \end{matrix}]

$\boldsymbol{\beta} = \begin{bmatrix} \mu_1 \\ \mu_2 \end{bmatrix}$

C^{'} β = 0

$\mathbf{c}^{\prime}\boldsymbol{\beta} = 0$

c^{'} = [\begin{matrix} 1 & - 1 \end{matrix}]

$\mathbf{c}^{\prime} = \begin{bmatrix} 1 & -1 \end{bmatrix}$

Ť = \frac{C^{'} \hat{β}}{\sqrt{{\hat{σ}}^{2} C^{'} （ X^{'} X ）^{- 1个} C}}

$t = \dfrac{c^{\prime}\hat{\boldsymbol{\beta}}}{\sqrt{\hat{\sigma}^2c^{\prime}(\mathbf{X}^{\prime}\mathbf{X})^{-1}\mathbf{c}}}$

t

$t$

n - r

$n - r$ 自由度，其中是上述设计矩阵，而其中。

X

$\mathbf{X}$

{\hat{σ}}^{2} = \frac{ÿ^{'} （ 一世 - P_{X} ） ÿ}{ñ - [R}

$\hat{\sigma}^2 = \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r}$

P_{X} = X (X^{'} X)^{- 1} X^{'}

$\mathbf{P}_{\mathbf{X}} = \mathbf{X}(\mathbf{X}^{\prime}\mathbf{X})^{-1}\mathbf{X}^{\prime}$

t-test degrees-of-freedom

— 单簧管
source

Answers:

具有对的匹配对检验实际上只是一个样本样本的检验。您有差异，它们是iid且呈正态分布。之后的第一列具有 $t$ $n$ $t$ $n$ $n$ $d_1,\ldots,d_n$

\begin{array}{ccccc} [\begin{matrix} d_{1个} \\ ⋮ \\ d_{ñ} \end{matrix}] & = & [\begin{matrix} \bar{d} \\ ⋮ \\ \bar{d} \end{matrix}] & + & [\begin{matrix} d_{1个} - \bar{d} \\ ⋮ \\ d_{1个} - \bar{d} \end{matrix}] \\ ñ df & 1个 df & （ ñ - 1个 ） df \end{array}

$\begin{array}{ccccc} \begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} & = & \begin{bmatrix} \bar d \\ \vdots \\ \bar d \end{bmatrix} & + & \begin{bmatrix} d_1 - \bar d \\ \vdots \\ d_1 - \bar d \end{bmatrix} \\[10pt] n \text{ d.f.} & & 1 \text{ d.f.} & & (n-1) \text{ d.f.} \end{array}$

“ =''

$\text{“}{=}\text{''}$

1

$1$ 由于表示所有条目均相等的线性约束，自由度；第二个具有自由度，这是因为线性约束表示条目的总和为。

n - 1

$n-1$

0

$0$

— 迈克尔·哈迪
source

因此，换句话说，我们这里具有自由度的原因与线性模型无关？

n - 1

$n-1$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\epsilon}$

— 单簧管演奏家

它确实与该模型有关，其中矩阵是 s 的列，是矩阵，唯一的入口是两个总体均值之间的差。

X

$\mathbf X$

1

$1$

β

$\boldsymbol{\beta}$

1 \times 1

$1\times1$

$\qquad$

— Michael Hardy

啊哈！因此，您的向量将是 s的向量，对吗？非常感谢你！我不敢相信，为此找到答案有多么困难！

y

$\mathbf{y}$

d_{i}

$d_i$

— 单簧管演奏家

是。它是匹配对中观察到的差异的向量。

n

$n$

$\qquad$

— Michael Hardy

非常感谢Michael Hardy回答了我的问题。

这个想法是这样的：让和。然后我们的线性模型为其中是所有向量，并且显然，排名为，因此我们有个自由度。

ÿ = [\begin{matrix} d_{1个} \\ ⋮ \\ d_{ñ} \end{matrix}]

$\mathbf{y} = \begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix}$

β = [μ_{1} - μ_{2}]

$\boldsymbol{\beta} = [\mu_1 - \mu_2]$

ÿ = {1个}_{ñ \times 1个} β + ϵ

$\mathbf{y} = \mathbf{1}_{n \times 1}\boldsymbol{\beta} + \boldsymbol{\epsilon}$

1_{n \times 1}

$\mathbf{1}_{n \times 1}$

n

$n$

ϵ = [\begin{matrix} ϵ_{1个} \\ ⋮ \\ ϵ_{ñ} \end{matrix}] 〜 ñ （ 0 ， σ^{2} {一世}_{ñ} ） 。

$\boldsymbol{\epsilon} = \begin{bmatrix} \epsilon_1 \\ \vdots \\ \epsilon_n \end{bmatrix} \sim \mathcal{N}(\mathbf{0}, \sigma^2\mathbf{I}_n)\text{.}$

X = 1_{n \times 1}

$\mathbf{X} = \mathbf{1}_{n \times 1}$

1

$1$

n - 1

$n-1$

我们如何知道将等于？回想一下，和，因为它可以很容易地看出，所有。给定，显然应该是。这是因为 $\boldsymbol{\beta}$ $[\mu_1 - \mu_2]$

Ë [ÿ] = X β

$\mathbb{E}[\mathbf{y}] = \mathbf{X}\boldsymbol{\beta}$

E [d_{j}] = μ_{1} - μ_{2}

$\mathbb{E}[d_j] = \mu_1 - \mu_2$

j

$j$

X

$\mathbf{X}$

β

$\boldsymbol{\beta}$

Ë [ÿ] = Ë [[\begin{matrix} d_{1个} \\ ⋮ \\ d_{ñ} \end{matrix}]] = [\begin{matrix} Ë [d_{1个}] \\ ⋮ \\ Ë [d_{ñ}] \end{matrix}] = [\begin{matrix} μ_{1个} - μ_{2} \\ ⋮ \\ μ_{1个} - μ_{2} \end{matrix}] = X β = {1个}_{ñ \times 1个} β = [\begin{matrix} 1个 \\ ⋮ \\ 1个 \end{matrix}] β

$\mathbb{E}[\mathbf{y}] = \mathbb{E}\left[\begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} \right] = \begin{bmatrix} \mathbb{E}[d_1] \\ \vdots \\ \mathbb{E}[d_n] \end{bmatrix} = \begin{bmatrix} \mu_1 - \mu_2 \\ \vdots \\ \mu_1 - \mu_2 \end{bmatrix} = \mathbf{X}\boldsymbol\beta = \mathbf{1}_{n \times 1}\boldsymbol\beta = \begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix}\boldsymbol\beta$ 因此应该是矩阵，其中。

β

$\boldsymbol\beta$

1 \times 1

$1 \times 1$

β = [μ_{1} - μ_{2}]

$\boldsymbol\beta = [\mu_1 - \mu_2]$

设置。那么我们的假设检验为因此，我们的检验统计量为我们有经过一番工作，可以证明还可以显示 $\mathbf{c}^{\prime} = [1]$

H_{0} ： C^{'} β = 0 。

$H_0: \mathbf{c}^{\prime}\boldsymbol{\beta} = 0\text{.}$

\frac{C^{'} \hat{β}}{\sqrt{{\hat{σ}}^{2} C^{'} {（ X^{'} X ）}^{- 1个} C}} 。

$\dfrac{\mathbf{c}^{\prime}\hat{\boldsymbol{\beta}}}{\sqrt{\hat{\sigma}^2\mathbf{c}^{\prime}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{c}}}\text{.}$

{\hat{σ}}^{2} = \frac{ÿ^{'} （ 一世 - P_{X} ） ÿ}{ñ - [R （ X ）} 。

$\hat{\sigma}^2 = \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})}\text{.}$

P_{X} = P_{{1个}_{ñ \times 1个}} = {1个}_{ñ \times 1个} （ \frac{1个}{ñ} ） {1个}^{'} 。

$\mathbf{P}_\mathbf{X} = \mathbf{P}_{\mathbf{1}_{n \times 1}} = \mathbf{1}_{n \times 1}\left(\dfrac{1}{n}\right)\mathbf{1}^{\prime}\text{.}$

I - P_{X}

$\mathbf{I}-\mathbf{P}_{\mathbf{X}}$ 是对称和幂等的。因此，和

\begin{aligned} {\hat{σ}}^{2} & = \frac{ÿ^{'} （ 一世 - P_{X} ） ÿ}{ñ - [R （ X ）} \\ = \frac{ÿ^{'} （ 一世 - P_{X} ）^{'} （ 一世 - P_{X} ） ÿ}{ñ - [R （ X ）} \\ = \frac{‖ （ 一世 - P_{X} ） ÿ ‖^{2}}{ñ - [R （ X ）} \\ = \frac{{‖ [一世 - {1个}_{ñ \times 1个} （ \frac{1个}{ñ} ） {1个}^{'}] ÿ ‖}^{2}}{ñ - 1个} \\ = \frac{{‖ [\begin{matrix} d_{1个} \\ ⋮ \\ d_{ñ} \end{matrix}] - [\begin{matrix} {\bar{d}}_{\cdot} \\ ⋮ \\ {\bar{d}}_{\cdot} \end{matrix}] ‖}^{2}}{ñ - 1个} \\ = \frac{\sum_{一世 = 1个}^{ñ} （ d_{一世} - {\bar{d}}_{\cdot} ）^{2}}{ñ - 1个} \\ = s_{d}^{2} \end{aligned}

$\begin{align} \hat{\sigma}^2 &= \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})} \\ &= \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})} \\ &= \dfrac{\|(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}\|^{2}}{n-r(\mathbf{X})} \\ &=\dfrac{\left\|\left[\mathbf{I}-\mathbf{1}_{n \times 1}\left(\dfrac{1}{n}\right)\mathbf{1}^{\prime}\right]\mathbf{y} \right\|^2}{n-1} \\ &= \dfrac{\left\|\begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} - \begin{bmatrix} \bar{d}_\cdot \\ \vdots \\ \bar{d}_\cdot \end{bmatrix} \right\|^2}{n-1} \\ &= \dfrac{\sum_{i=1}^{n}(d_i-\bar{d}_{\cdot})^2}{n-1} \\ &= s^2_d \end{align}$

X^{'} X = {1个}_{ñ \times 1个}^{'} {1个}_{ñ \times 1个} = ñ

$\mathbf{X}^{\prime}\mathbf{X} = \mathbf{1}_{n \times 1}^{\prime}\mathbf{1}_{n \times 1} = n$ 这显然倒数，从而检验统计量，将在中心以度自由如所期望。

1 / n

$1/n$

\frac{{\hat{μ}}_{1个} - {\hat{μ}}_{2}}{\sqrt{s_{d}^{2} / ñ}}

$\dfrac{\hat\mu_1-\hat\mu_2}{\sqrt{s^2_d/n}}$

t

$t$

n - 1

$n - 1$

— 单簧管
source