为什么逻辑回归能产生经过良好校准的模型？

我了解到，逻辑回归通常用于预测网络上的点击率的原因之一是，它可以生成经过良好校准的模型。对此有很好的数学解释吗？

是。

回归的预测概率向量p满足矩阵方程$p$

$$X^t(p - y) = 0$$

其中是设计矩阵，y是响应向量。这可以看作是线性方程式的集合，一个线性方程式来自设计矩阵X的每一列。$X$$y$$X$

专门针对截距列（在转置矩阵中为一行），相关联的线性方程为

$$\sum_i( p_i - y_i) = 0$$

因此总体平均预测概率等于响应的平均值。

更一般地，对于二元特征列，相关联的线性方程为$x_{ij}$

$$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$$

因此，即使专门针对那些记录，预测概率的总和（因此也就是平均值）等于响应的总和。$x_{ij} = 1$

我想我可以为您提供一个易于理解的解释，如下所示：

$$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$$
m$y^{(i)}$$h_{\theta}(x^{(i)})$$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$$\alpha$

$\theta_j$

$$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$$

$$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$$

这意味着，如果模型经过充分训练，我们为训练集获得的预测概率就会自行分散，从而对于每个特征，该特征的加权（所有）值之和等于该特征的值之和阳性样本。

$\alpha$$x_0$$\alpha$$\theta_0$

$$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$$ $$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$$ $h_\theta\left(x^{(i)}\right)$ $$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$$

显然，我们可以看到逻辑回归得到了很好的校准。

参考：对数线性模型和条件随机字段，作者：Charles Elkan