Logistic损失函数的梯度

我想问一个与此有关的问题。

我在这里找到了为xgboost编写自定义损失函数的示例：

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

物流损失函数为

升 Ø G （ 1个 + Ë^{- ÿ P} ）

$log(1+e^{-yP})$

其中是对数奇数，是标签（0或1）。 $P$ $y$

我的问题是：如何获得仅等于真实值与预测概率（由对数奇数计算为preds <- 1/(1 + exp(-preds))）之间的差的梯度（一阶导数）？

— 奥古尔佐夫
source

您应该使用平方误差损失来实现这一目标。您的符号令人困惑，应在帖子中定义。如果是预测的风险，那么损失就是您想要的。我很困惑，因为我们从不使用来表示对数奇数。

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— AdamO

p

$p$ 固定资本。它是对数奇数，并且在问题中已清楚标记。我知道损失函数梯度是，但这是平方损失，而不是逻辑损失。

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Ogurtsov

当您说“梯度”时，您指的是什么梯度？梯度的损失？这是一个简单的数学关系，如果表达式的导数是线性差，则表达式是二次差或平方误差损失。

— AdamO

是的，这全都与损失的梯度有关。很简单，当损失函数为平方误差时。在这种情况下，损失函数为逻辑损失（en.wikipedia.org/wiki/LogitBoost），我找不到该函数的梯度与给定代码示例之间的对应关系。

— Ogurtsov

我对这个问题的回答是：是的，可以证明逻辑损失的梯度等于真实值与预测概率之间的差。在这里找到简要说明。

首先，逻辑损失仅仅是对数似然的负数，因此我们可以从对数似然的表达式开始（第74页 -此表达式本身就是对数似然，而不是对数似然）：

大号 = ÿ_{一世} \cdot 升 Ø G （ p_{一世} ） + （ 1个 - ÿ_{一世} ） \cdot 升 Ø G （ 1个 - p_{一世} ）

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

是逻辑函数： $p_{i}$ ，其中被预测值逻辑变换之前（即，数优势比）： $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

大号 = ÿ_{一世} \cdot 升 Ø G （ \frac{1个}{1个 + Ë^{- {\hat{ÿ}}_{一世}}} ） + （ 1个 - ÿ_{一世} ） \cdot 升 Ø G （ \frac{Ë^{- {\hat{ÿ}}_{一世}}}{1个 + Ë^{- {\hat{ÿ}}_{一世}}} ）

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

使用Wolfram Alpha获得的一阶导数：

{大号}^{'} = \frac{ÿ_{一世} - （ 1个 - ÿ_{一世} ） \cdot Ë^{{\hat{ÿ}}_{一世}}}{1个 + Ë^{{\hat{ÿ}}_{一世}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

乘以后： $\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

{大号}^{'} = \frac{ÿ_{一世} \cdot Ë^{- {\hat{ÿ}}_{一世}} + ÿ_{一世} - 1个}{1个 + Ë^{- {\hat{ÿ}}_{一世}}} = \frac{ÿ_{一世} \cdot （ 1个 + Ë^{- {\hat{ÿ}}_{一世}} ）}{1个 + Ë^{- {\hat{ÿ}}_{一世}}} - \frac{1个}{1个 + Ë^{- {\hat{ÿ}}_{一世}}} = ÿ_{一世} - p_{一世}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

更改符号后，我们得到逻辑损失函数的梯度表达式：

p_{一世} - ÿ_{一世}

$p_{i}-y_{i}$

— 奥古尔佐夫
source

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$