逻辑回归的性质

我们正在进行一些逻辑回归，我们已经意识到，平均估计概率总是等于样本中概率的比例。也就是说，拟合值的平均值等于样本的平均值。

谁能向我解释原因或给我参考以找到该演示？

您观察到的行为是逻辑回归中的“典型”情况，但并非总是如此。它还具有更广泛的通用性（请参见下文）。这是三个不同事实汇合的结果。

1. 选择将对数奇数建模为预测变量的线性函数，
2. 使用最大似然来获得逻辑回归模型中系数的估计值，以及
3. 在模型中包含拦截项。

如果不存在上述任何一项，则平均估计概率通常将不匹配样本中那些概率的比例。

但是，（几乎）所有统计软件都对此类模型使用最大似然估计，因此，在实践中，除特殊情况外，基本上始终存在第1项和第2项，而通常存在第3项。

一些细节

在典型的逻辑回归框架中，我们以概率观察独立的二项式试验的结果。让Ÿ 我是观察到的反应。那么总似然为 L = n ∏ i = 1 p y i i（1 - p i ）1 - y i = n ∏ i = 1 exp （y i log （p i /（1 - p $p_i$$y_i$ 因此对数似然为 ℓ = n ∑ i = 1 y i log （p i /（1 − p i））+ n ∑ i = 1 log （1 − p i

$$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$$ $$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$$

现在，对于每个观察，我们都有一个预测变量的向量，根据上述事实1，逻辑回归模型假定 log p $\newcommand{\x}{\mathbf x}\x_i$ 对于参数 β的一些未知向量。注：通过重新安排这，我们得到 p 我 = 1 /（1 + Ë - β 牛逼X我）。

$$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$$ $\beta$$p_i = 1/(1+e^{-\beta^T \x_i})$

使用最大似然以适应模型（事实2）得到一组方程，从考虑解决。观察 ＆PartialD;＆$\partial \ell / \partial \beta = 0$

$$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$$ $$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$$ $\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$

$\x_i$$j$$i$$\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$

模拟

$R$

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

一般情况：如前所述，平均响应等于平均预测均值的性质对于使用最大似然性的广义线性模型类别（使用规范链接函数）并在其中包含截距具有更大的通用性。模型。

参考文献

以下是相关理论的一些很好的参考。

1. A. Agresti（2002），分类数据分析，第二版，Wiley。
2. P. McCullagh和JA Nelder（1989），《广义线性模型》，第二版，查普曼和霍尔。（来自一般方法原始作者的文字。）