在softmax分类器中，为什么要使用exp函数进行归一化？

为什么使用softmax而不是标准归一化？在此问题的最高答案的评论区域中，@ Kilian Batzner提出了2个问题，这也使我非常困惑。除数值上的好处外，似乎没有人给出任何解释。

我有使用交叉熵损失的原因，但这与softmax有什么关系？您说过“ softmax函数可以看作是试图最小化预测和真实之间的交叉熵”。假设我将使用标准/线性归一化，但仍将使用交叉熵损失。然后，我还将尝试最小化交叉熵。那么，除了数值收益外，softmax如何与交叉熵联系起来？

至于概率观点：查看对数概率的动机是什么？推理似乎有点像“我们在softmax中使用e ^ x，因为我们将x解释为对数概率”。出于同样的理由，我们可以在softmax中使用e ^ e ^ e ^ x，因为我们将x解释为log-log-log-概率（当然，这里夸大了）。我得到了softmax的数值好处，但是使用它的理论动机是什么？

它不仅仅是数字。快速提醒一下softmax：

$$P(y=j | x) = \frac{e^{x_j}}{\sum_{k=1}^K e^{x_k}}$$

其中是长度等于类的输入向量。softmax函数具有3个非常好的属性：1.规范化数据（输出适当的概率分布）； 2.可微化； 3.使用您提到的exp。一些要点：$x$$K$

1. 损失函数与softmax不直接相关。您可以使用标准归一化，但仍可以使用交叉熵。

2. “ hardmax”函数（即argmax）不可区分。softmax给输出向量中的所有元素至少提供最小的概率，因此可以很好地区分，因此softmax中的术语“ soft”。

3. 现在我来回答你的问题。该在SOFTMAX是自然指数函数。在归一化之前，我们将转换为的图形：x e $e$$x$$e^x$

如果为0，则；如果为1，则；如果为2，则！迈出了巨大的一步！这就是我们未标准化对数得分的非线性转换。指数函数与softmax中的归一化相结合的有趣特性是，高分比低分变得更有可能。y = 1 x y = 2.7 x y = 7 $x$$y=1$$x$$y=2.7$$x$$y=7$$x$

一个例子。假设，您的对数得分是向量。简单的argmax函数输出：X [ 2 ，4 ，2 ，1 $K=4$$x$$[2, 4, 2, 1]$

$$[0, 1, 0, 0]$$

argmax是目标，但它不可微，因此无法使用它训练模型：(一个可微的简单归一化输出以下概率：

$$[0.2222, 0.4444, 0.2222, 0.1111]$$

确实离argmax太远了！:(而softmax输出：

$$[0.1025, 0.7573, 0.1025, 0.0377]$$

距离argmax更近了！因为我们使用自然指数，所以与标准归一化相比，我们极大地增加了最高分的概率，并降低了较低分的概率。因此，softmax中的“最大值”。

除了维加的解释之外，

让我们定义通用SOFTMAX：

$$P(y=j | x) = \frac{\psi^{x_j}}{\sum_{k=1}^K \psi^{x_k}}$$ 其中$\psi$是一个常数> = 1

如果$\psi=1$，那么您离argmax远，如@vega所述。

现在假设$\psi=100$，您已经很接近argmax了，但是对于负值，您有一个非常小的数字，对于正数，您也有一个很大的数字。这个数字溢出的浮点算术限制容易（为numpy的float64的例子最大限制是$10^{308}$）。除此之外，即使选择的$\psi=e$比$100$小得多，框架也应该实现更稳定的softmax版本（将分子和分母都乘以常数$C$），因为结果变小了，可以用这样的精度。

因此，您想要选择一个足够大的常数以很好地逼近argmax，同时又选择一个足够小的常数以在计算中表达这些大小数字。

当然，$e$也具有非常好的导数。

这个问题很有趣。我不知道确切的原因，但我认为可以使用以下原因来解释指数函数的用法。这篇文章的灵感来自统计力学和最大熵原理。

我将通过使用用一个例子说明此$N$图像，这是由构成$n_1$从类图像$\mathcal{C}_1$，$n_2$图像从类$\mathcal{C}_2$，...，和$n_K$从类图像$\mathcal{C}_K$。然后我们假设我们的神经网络能够对图像进行非线性变换，从而可以为所有类别分配一个“能量水平” $E_k$。我们假设此能量处于非线性范围，这使我们能够线性分离图像。

的平均能量$\bar{E}$是关系到其它能量$E_k$由以下关系

$$\begin{equation} N\bar{E} = \sum_{k=1}^{K} n_k E_k.\qquad (*) \label{eq:mean_energy} \end{equation}$$

同时，我们看到图像的总量可以计算为以下总和

$$\begin{equation} N = \sum_{k=1}^{K}n_k.\qquad (**) \label{eq:conservation_of_particles} \end{equation}$$

最大熵原理的主要思想是，以使得给定能量分布的可能组合的数量最大化的方式来分布相应类别中的图像的数量。简而言之，系统将不会很可能进入只有$n_1$类的状态，它也不会进入每个类中具有相同数量的图像的状态。但是为什么会这样呢？如果所有图像都在一个类别中，则系统的熵将非常低。第二种情况也是非常不自然的情况。我们很可能会拥有更多具有中等能量的图像，而更少具有非常高和非常低的能量的图像。

熵随着组合数量的增加而增加，在组合中我们可以将$N$图像分为具有相应能量的$n_1$，$n_2$，...，$n_K$图像类别。该组合数由多项式系数给出

$$\begin{equation} \begin{pmatrix} N!\\ n_1!,n_2!,\ldots,n_K!\\ \end{pmatrix}=\dfrac{N!}{\prod_{k=1}^K n_k!}. \end{equation}$$

假设我们有无限多的图像$N\to \infty$，我们将尝试最大化此数字。但是他的最大化也有等式约束$(*)$和$(**)$。这种优化类型称为约束优化。我们可以通过使用拉格朗日乘数的方法来解析地解决这个问题。我们引入Lagrange乘数$\beta$和$\alpha$作为等式约束，并引入Lagrange Funktion $\mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right)$。

$$\begin{equation} \mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right) = \dfrac{N!}{\prod_{k=1}^{K}n_k!}+\beta\left[\sum_{k=1}^Kn_k E_k - N\bar{E}\right]+\alpha\left[N-\sum_{k=1}^{K} n_k\right] \end{equation}$$

当我们假设$N\to \infty$我们也可以假设$n_k \to \infty$并将斯特林近似用于阶乘

$$\begin{equation} \ln n! = n\ln n - n + \mathcal{O}(\ln n). \end{equation}$$

注意，该近似值（前两项）只是渐近的，并不意味着该近似值将收敛到$\ln n!$对于$n\to \infty$。

拉格朗日函数的相对于偏导数$n_\tilde{k}$将导致

$$\dfrac{\partial \mathcal{L}}{\partial n_\tilde{k}}=-\ln n_\tilde{k}-1-\alpha+\beta E_\tilde{k}.$$

如果将偏导数设置为零，我们可以找到

$$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\exp(1+\alpha)}. \qquad (***)$$

如果将其放回$(**)$我们可以获得

$$\exp(1+\alpha)=\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k).$$

如果我们将其放回$(***)$我们会得到一些使我们想起softmax函数的信息

$$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k)}.$$

$n_\tilde{k}/N$$\mathcal{C}_\tilde{k}$$p_\tilde{k}$

$$p_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\sum_{k=1}^K\exp(\beta E_k)}.$$

$\beta E_\tilde{k}=\boldsymbol{w}^T_k\boldsymbol{x}$$k^{\text{th}}$