物流功能的黑森州

我很难在逻辑回归中得出目标函数的Hessian，其中为： $l(\theta)$$l(\theta)$

$$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$$

$h_\theta(x)$是逻辑函数。粗体字是。我试图通过计算来导出它，但是对于我来说，如何从转换为矩阵符号并不明显。$X^T D X$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$

有人知道推导X ^ TDX的任何简便方法$X^T D X$吗？

在这里，我导出了使解决方案自包含的所有必要属性和标识，但除此之外，这种推导是干净且容易的。让我们形式化我们的符号，并更紧凑地编写损失函数。考虑样本，使得和。回想一下，在二进制逻辑回归中，我们通常将假设函数作为逻辑函数。正式地$m$$\{x_i,y_i\}$$x_i\in\mathbb{R}^d$$y_i\in\mathbb{R}$$h_\theta$

$$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$$

其中和。损失函数（我认为OP缺少负号）然后定义为：$\omega\in\mathbb{R}^d$$z_i=\omega^Tx_i$

$$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$$

我在这里导出逻辑函数的两个重要属性，以供将来参考。首先，请注意。$1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$

另请注意

$$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$$

在这里，我们将直接使用向量（而不是分量的派生）（您可以在此处查看使用向量的派生）。损失函数的Hessian 由，但首先回想一下和。$l(\omega)$$\vec{\nabla}^2l(\omega)$$\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$$\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$

令。使用我们上面得出的属性和链式规则$l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$

$$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$$

现在证明这很简单

$$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$$

！

我们的最后一步是计算Hessian

$$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$

对于样本，我们有。这等效于串联列向量为矩阵大小的使得。标量项组合在对角矩阵，使得。最后，我们得出结论$m$$\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$x_i\in\mathbb{R}^d$$X$$d\times m$$\sum_{i=1}^m x_ix_i^T=XX^T$$D$$D_{ii}=\sigma(z_i)(1-\sigma(z_i))$

$$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$$

通过从一开始就一次考虑所有样本，而是使用矩阵导数，可以得出一种更快的方法。另外需要注意的是，用这种公式可以证明是凸的。令是等于任何向量。然后$l(\omega)$$\delta$$\delta\in\mathbb{R}^d$

$$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$$

因为和。这意味着是正中半定的，因此是凸的（但不是强凸的）。$D>0$$\|\delta^TX\|\geq 0$$H$$l$