证明马氏距离与杠杆之间的关系？

我在维基百科上看到过公式。与马氏距离和杠杆有关：

马氏距离与杠杆统计$h$密切相关，但具有不同的标度：

$$D^2 = (N - 1)(h - \tfrac{1}{N}).$$

在链接的文章中，维基百科用以下术语描述了$h$：

在该线性回归模型，用于杠杆得分$i^{th}$数据单位被定义为：

$$h_{ii}=(H)_{ii},$$ 在$i^{th}$帽子矩阵的对角元素$H=X(X^{\top}X)^{-1}X^{\top}$，其中⊤表示矩阵转置。$^{\top}$

我在任何地方都找不到证明。我试图从定义开始，但是没有任何进展。任何人都可以给出提示吗？

我在底部对马氏距离的描述到对马氏距离的顶部解释？包含两个关键结果：

1. 根据定义，当回归变量均匀移动时，它不会改变。

2. 向量$x$和$y$之间的平方Mahalanobis距离由

   $$D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$$ ，其中$\Sigma$是数据的协方差。

（1）允许我们假设回归器的均值为零。仍然需要计算$h_i$。但是，为使该说法成立，我们需要再增加一个假设：

模型必须包含一个截距。

允许这一点，让有$k \ge 0$回归量和$n$数据，写入回归的值$j$观察$i$作为$x_{ij}$。让这些列向量$n$为回归值$j$写入$\mathbf{x}_{,j}$和这些的行向量$k$为观测值$i$被写入$\mathbf{x}_i$。那么模型矩阵是

$$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$$

根据定义，帽子矩阵为

$$H = X(X^\prime X)^{-1} X^\prime,$$

从那里进入$i$沿着对角线是

$$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$$

除了求出中央矩阵逆之外，它什么都没有，但是借助第一个关键结果，它很容易，尤其是当我们以块矩阵形式编写它时：

$$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$$

$\mathbf{0} = (0,0,\ldots,0)^\prime$

$$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$$

$\Sigma$

$$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$$

$(1)$

$$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$$

$D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

$$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$$

QED。

$1/n$$X$$n-1$$n-1$$n$

---

$i$

---

R代码表明该关系确实成立：

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))