Scikit二项式偏差损失函数

这是scikit GradientBoosting的二项式偏差损失函数，

   def __call__(self, y, pred, sample_weight=None):
        """Compute the deviance (= 2 * negative log-likelihood). """
        # logaddexp(0, v) == log(1.0 + exp(v))
        pred = pred.ravel()
        if sample_weight is None:
            return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred))
        else:
            return (-2.0 / sample_weight.sum() *
                    np.sum(sample_weight * ((y * pred) - np.logaddexp(0.0, pred))))

在具有0的类和具有1的类之间，这种损失函数并不相似。任何人都可以解释这是如何确定的。

例如，在没有样本权重的情况下，类别1的损失函数为

-2(pred - log(1 + exp(pred))

vs 0级

-2(-log(1+exp(pred))

这两个图在成本上并不相似。谁能帮我理解。

需要两个观察才能理解此实现。

第一，pred是不是一个概率，它是一个数比值。

第二个是二项式偏差的标准代数运算，就像这样。设是数比值，有什么要求。则观测值的二项式偏差的定义为（高达）$P$sklearnpred$-2$

$$y \log(p) + (1-y) \log(1 - p) = \log(1 - p) + y \log \left( \frac{p}{1-p} \right)$$

现在观察和（快速检查是对它们求和在你的头上，你会得到）。所以$p = \frac{e^{P}}{1 + e^{P}}$$1-p = \frac{1}{1 + e^{P}}$$1$

$$\log(1-p) = \log \left( \frac{1}{1 + e^{P}} \right) = - \log(1 + e^{P})$$

和

$$\log \left( \frac{p}{1-p} \right) = \log ( e^{P} ) = P$$

因此，二项式偏差等于

$$y P - \log( 1 + e^{P} )$$

等式sklearn正在使用哪个。