信息从帽子矩阵中进行逻辑回归

对我来说很明显，并且在多个位置上都有很好的解释，帽子矩阵对角线上的值为线性回归提供了哪些信息。

对我来说，逻辑回归模型的帽子矩阵不太清楚。它与您通过线性回归从帽子矩阵中获得的信息相同吗？这是我在CV的另一个主题（源1）上发现的hat矩阵的定义：

$H=VX ( X'V X)^-1 X' V$

其中X为预测变量的向量，V为的对角矩阵 $\sqrt{(π(1−π))}$ 。

换句话说，观察的帽子矩阵的特定值是否也只是表示协变量在协变量空间中的位置，而与该观察的结果值无关吗？

这写在Agresti的《分类数据分析》一书中：

观测值的杠杆越大，其对拟合的潜在影响就越大。与普通回归一样，杠杆率介于0到1之间，并且等于模型参数的数量。与普通回归不同，帽子值取决于拟合以及模型矩阵，具有极高预测值的点不需要具有高杠杆作用。

因此，超出这个定义，似乎不能像在普通线性回归中那样使用它？

来源1：如何计算R中逻辑回归的帽子矩阵？

regression logistic

— 卡斯珀
source

让我稍微改变一下符号，并将帽子矩阵写为其中是对角对称矩阵，具有一般元素。将表示为具有相同协变量值的个体的组。您可以通过以下形式获得帽子矩阵的对角元素（）：然后总和给出的参数的数量，如线性回归。现在您的问题：

H = V^{\frac{1}{2}} X (X^{'} V X)^{- 1} X^{'} V^{\frac{1}{2}}

$H = V^{\frac{1}{2}}X(X'VX)^{-1}X'V^{\frac{1}{2}}$

V

$V$

v_{j} = m_{j} π (x_{j}) [1 - π (x_{j})]

$v_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right]$

m_{j}

$m_j$

x = x_{j}

$x = x_j$

j^{t h}

$j^{th}$

h_{j}

$h_j$

h_{j} = m_{j} π (x_{j}) [1 - π (x_{j})] x_{j}^{'} (X^{'} V X)^{- 1} x_{j}^{'}

$h_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right] x'_j (X'VX)^{-1}x'_j$

h_{j}

$h_j$

帽子矩阵中的杠杆值的解释取决于估计的概率。如果，则可以与线性回归情况下类似的方式解释杠杆值，即，离均值越远，您得到的值就越高。如果您处于概率分布的最末端，则这些杠杆值可能不再以相同的方式衡量距离。下图显示了来自Hosmer和Lemeshow（2000）的情况： $\pi$ $0.1 < \pi < 0.9$

在此处输入图片说明

在这种情况下，协变量空间中的最极端值可以为您提供最小的杠杆，这与线性回归的情况相反。原因是线性回归中的杠杆作用是单调函数，对于非线性逻辑回归而言并非如此。帽子矩阵的对角元素的上述公式中有一个单调增加的部分，它表示与均值的距离。这就是部分，如果您仅对距离本身感兴趣，可以查看一下。逻辑回归的大多数诊断统计信息都利用了全杠杆，因此很少单独考虑此单独的单调部分。 $x'_j (X'VX)^{-1}x'_j$ $h_j$

如果您想更深入地阅读该主题，请参阅派生逻辑帽子矩阵的Pregibon（1981）的论文，以及Hosmer和Lemeshow（2000）的书。

Pregibon，D。（1981），《逻辑回归诊断》，《统计年鉴》，第1卷。9（4），第705-724页
Hosmer，DW和Lemeshow，S.（2000），“应用逻辑回归”，第二版，John Wiley and Sons，Inc.

— 安迪
source