逻辑回归中的残差是什么意思？

在回答这个问题时，约翰·克里斯蒂（John Christie）建议通过评估残差来评估逻辑回归模型的拟合度。我熟悉如何解释OLS中的残差，它们与DV具有相同的比例，并且非常清楚地知道y与模型预测的y之间的差异。但是对于逻辑回归，过去我通常只检查模型拟合的估计值，例如AIC，因为我不确定残差对逻辑回归意味着什么。在稍微看一下R的帮助文件后，我发现R中有五种类型的glm残差可用c("deviance", "pearson", "working","response", "partial")。帮助文件是指：

Davison，AC和Snell，EJ（1991）残留和诊断。在：统计理论与建模。为了纪念David Cox爵士，FRS编辑。欣克利，DV，里德，N。和斯内尔，EJ，查普曼和霍尔。

我没有那个副本。是否有简短的方法来描述如何解释这些类型中的每一种？在逻辑条件下，残差平方和会提供一种有意义的模型拟合度量，还是采用信息准则会更好？

— 拉塞尔皮尔斯
source

这个问题的某些要素尚待解答，例如“皮尔逊”，“工作”，“响应”和“部分”残差的性质，但现在我将接受thylacoleo的回答。

— russellpierce

我发现binnedplotR包分支中的函数给出了非常有用的残差图。在Gelman and Hill 2007的 p.97-101中有很好的描述。

— 共轭

检查模型拟合度的一种非常简单的方法是将观察到的比例与预测的比例作图。但是，如果您进行了bernoulli回归（例如，您的所有观测值都具有独立变量的唯一组合，因此），则此方法将不起作用，因为您只会看到一行零和一。

n_{i} = 1

$n_i=1$

— 概率

是的-很遗憾，我通常使用的是Bernoulli DV。

— russellpierce

另请参阅了解 Stack Overflow上的glm $ residuals和resid（glm）。

— gung-恢复莫妮卡

Answers:

最容易理解的残差是偏差残差，因为将它们的平方乘以对数似然性的-2倍即可。用最简单的术语，逻辑对数回归可以理解为以使总偏差最小的方式拟合已知的函数来理解所有数据点的偏差偏差平方。 $p = \text{logit}^{-1}(X\beta)$ $X$

每个数据点的（平方）偏差等于（-2倍）其预测概率与其实际值的补数之差的对数（1绝对值）。当log（1）为零时，点的完美拟合（永不发生）的偏差为零。拟合差的点具有较大的残余偏差，因为非常小的值的对数的-2倍是大数。 $\text{logit}^{-1}(X\beta)$

进行逻辑回归类似于找到一个beta值，以使偏差偏差平方和的总和最小。

可以用图解说明，但我不知道如何上传。

— 甲壳动物
source

注册图片：使用免费图片托管网站之一（搜索Google），将地块上传到该网站并在此处链接。

我已更正了原始答案中的一个错误。我首先写了p = logit（X beta）。实际上，预测的概率是线性组合的逆对数，p = inv-logit（X beta）。在R中，此值计算为p <-plogit（X beta），即p = exp（X beta）/（1 + exp（X * beta））。

— Thylacoleo

哪个R包plogit来自？目前尚不清楚是在这里定义它还是从其他地方获得它。

— Amyunimus

@Amyunimus plogit在R（数据）中，不需要任何包装（至少现在不再是）

— russellpierce

在培生残差上，

皮尔逊残差是观察到的概率与估计概率之差除以估计概率的二项式标准差。因此标准化残差。对于大样本，标准残差应具有正态分布。

摘自Menard，Scott（2002）。应用逻辑回归分析，第二版。加利福尼亚州千橡市：圣人出版社。系列：《社会科学中的定量应用》，第106期。第一版，1995年。请参阅第4.4章

— tosonb1
source

n_{i}

$n_i$

n_{i} < 5

$n_i<5$

工作残差是任何迭代加权最小二乘法的最终迭代中的残差。我认为这是指我们认为模型运行的最后一次迭代时的残差。这可能引起人们的讨论，即模型运行是一个迭代练习。

— 阿尤什·比亚亚尼
source