神经网络以及应用程序中使用的成本函数列表

133

评估神经网络性能时常用的成本函数是什么？

细节

（随意跳过此问题的其余部分，我的目的仅是提供有关答案可以用来帮助普通读者更理解的符号的说明）

我认为，列出常用成本函数以及实践中使用的几种方法会很有用。因此，如果其他人对此感兴趣，我认为社区Wiki可能是最好的方法，或者如果它不在主题之列，我们可以将其删除。

符号

因此，首先，我想定义一个大家在描述它们时都使用的符号，以便使答案相互吻合。

这种表示法来自尼尔森的书。

前馈神经网络是连接在一起的多层神经元。然后，它接受一个输入，该输入通过网络“ tri流”，然后神经网络返回一个输出向量。

更正式地，调用 $a^i_j$ 所述的活化（又名输出）神经元中的层，其中是在输入向量的元素。 $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

然后，我们可以通过以下关系将下一层的输入与上一层的输入关联起来：

$a^i_j = \sigma(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j)$

哪里

$\sigma$ 是激活功能，

$w^i_{jk}$ 是重从神经元在层到神经元中的层， $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$

$b^i_j$ 是层中神经元的偏差，并且 $j^{th}$ $i^{th}$

$a^i_j$ 代表层中神经元的激活值。 $j^{th}$ $i^th$

有时我们写来表示，换句话说，就是在应用激活函数之前神经元的激活值。 $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

在此处输入图片说明

为了更简洁的表示，我们可以写

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

要使用此公式为某些输入计算前馈网络的输出，请设置，然后计算，，...，，其中m是层数。 $I \in \mathbb{R}^n$ $a^1 = I$ $a^2$ $a^3$ $a^m$

介绍

成本函数是神经网络相对于给定训练样本和预期输出的“良好程度”的度量。它还可能取决于变量，例如权重和偏差。

成本函数是单个值，而不是向量，因为它会评估神经网络的整体效果。

具体来说，成本函数的形式为

C (W, B, S^{r}, E^{r})

$C(W, B, S^r, E^r)$

其中是我们的神经网络的权重，是我们的神经网络的偏差，是单个训练样本的输入，是该训练样本的期望输出。注意，对于第层中的任何神经元，此函数还可能依赖于和，因为这些值取决于，和。 $W$ $B$ $S^r$ $E^r$ $y^i_j$ $z^i_j$ $j$ $i$ $W$ $B$ $S^r$

在反向传播中，成本函数用于通过以下方法计算输出层的误差： $\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial a_{j}^{L}} σ^{'} (z_{j}^{i})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^i_j)$ 。

也可以通过以下方式将其写为向量

δ^{L} = \nabla_{a} C ⊙ σ^{'} (z^{i})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^i)$ 。

我们将根据第二个方程式提供成本函数的梯度，但是如果要自己证明这些结果，建议使用第一个方程式，因为它更易于使用。

成本函数要求

要用于反向传播，成本函数必须满足两个属性：

1：成本函数必须能够写成平均值 $C$

C = \frac{1}{n} \sum_{x} C_{x}

$C=\frac{1}{n} \sum\limits_x C_x$

针对单个训练示例成本函数。 $C_x$ $x$

这样一来，我们就可以为单个训练示例计算梯度（相对于权重和偏差），并运行Gradient Descent。

2：除了输出值之外，成本函数不得依赖于任何神经网络的激活值。 $C$ $a^L$

从技术上讲，成本函数可以取决于任何或。我们只是做这个限制，所以我们可以向后传播，因为找到最后一层的梯度的方程是唯一一个依赖于成本函数的方程（其余依赖于下一层）。如果成本函数除了输出层之外还依赖于其他激活层，则反向传播将无效，因为“向后倾斜”的想法不再起作用。 $a^i_j$ $z^i_j$

同样，要求激活函数对所有都具有输出。因此，这些成本函数仅需在该范围内定义（例如是有效的，因为我们可以保证）。 $0\leq a^L_j \leq 1$ $j$ $\sqrt{a^L_j}$ $a^L_j \geq 0$

machine-learning neural-networks

— 菲利达
source

这是一个问答网站，而这篇文章的格式并不适合。您可能应该将大部分内容放在答案中，而仅留下问题（例如，NN中使用的成本函数列表是什么？）。

— 罗杰·范

好吧，好一点了吗？我认为定义很重要，否则对于那些不熟悉作者使用的术语的人来说，答案就变得模糊了。

— 菲利达2015年

但是，如果不同的答案使用不同的符号或术语怎么办？

— 罗杰·范

想法是每个人在这里都使用相同的术语，如果有所不同，我们将其转换为该术语，因此答案彼此“匹配”。但是我想，如果您认为这没什么用，我可以删除它。

— 菲利达2015年

我只是认为问题所涉及的细节并不是真正必要或相关的。似乎有点过分和局限，但这就是我。

— 范范

Answers:

这是我到目前为止所了解的。给定介于0和1之间的值时，大多数方法效果最佳。

二次成本

也称为均方误差，最大似然和和平方误差，其定义为：

C_{M S T} (W, B, S^{r}, E^{r}) = 0.5 \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2}

$C_{MST}(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

该成本函数相对于神经网络输出和某些样本的梯度为： $r$

\nabla_{a} C_{M S T} = (a^{L} - E^{r})

$\nabla_a C_{MST} = (a^L - E^r)$

交叉熵成本

也称为伯努利负对数似然和二进制交叉熵

C_{C E} (W, B, S^{r}, E^{r}) = - \sum_{j} [E_{j}^{r} ln a_{j}^{L} + (1 - E_{j}^{r}) ln (1 - a_{j}^{L})]

$C_{CE}(W, B, S^r, E^r) = -\sum\limits_j [E^r_j \text{ ln } a^L_j + (1 - E^r_j) \text{ ln }(1-a^L_j)]$

该成本函数相对于神经网络输出和某些样本的梯度为： $r$

\nabla_{a} C_{C E} = \frac{(a^{L} - E^{r})}{(1 - a^{L}) (a^{L})}

$\nabla_a C_{CE} = \frac{(a^L - E^r)}{(1-a^L)(a^L)}$

指数成本

这需要选择一些您认为会给您想要的行为的参数。通常，您只需要使用它，直到一切正常。 $\tau$

C_{E X P} (W, B, S^{r}, E^{r}) = τ \exp (\frac{1}{τ} \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2})

$C_{EXP}(W, B, S^r, E^r) = \tau\text{ }\exp(\frac{1}{\tau} \sum\limits_j (a^L_j - E^r_j)^2)$

其中只是简写。 $\text{exp}(x)$ $e^x$

该成本函数相对于神经网络输出和某些样本的梯度为： $r$

\nabla_{a} C = \frac{2}{τ} (a^{L} - E^{r}) C_{E X P} (W, B, S^{r}, E^{r})

$\nabla_a C = \frac{2}{\tau}(a^L- E^r)C_{EXP}(W, B, S^r, E^r)$

我可以重写，但这似乎是多余的。点是梯度，计算一个向量，然后将其乘以。 $C_{EXP}$ $C_{EXP}$

赫林格距离

C_{H d} （ w ^， 乙 ， {小号}^{[R} ， Ë^{[R} ） = \frac{1个}{\sqrt{2}} \sum_{Ĵ} （ \sqrt{{一种}_{Ĵ}^{大号}} - \sqrt{Ë_{Ĵ}^{[R}} ）^{2}

$C_{HD}(W, B, S^r, E^r) = \frac{1}{\sqrt{2}}\sum\limits_j(\sqrt{a^L_j}-\sqrt{E^r_j})^2$

您可以在这里找到更多关于此的信息。这需要具有正值，理想情况下为到之间的值。对于以下差异也是如此。 $0$ $1$

该成本函数相对于神经网络输出和某些样本的梯度为： $r$

\nabla_{一种} C = \frac{\sqrt{{一种}^{大号}} - \sqrt{Ë^{[R}}}{\sqrt{2} \sqrt{{一种}^{大号}}}

$\nabla_a C = \frac{\sqrt{a^L}-\sqrt{E^r}}{\sqrt{2}\sqrt{a^L}}$

Kullback–Leibler分歧

也称为信息散度，信息增益，相对熵，KLIC或KL散度（请参阅此处）。

Kullback-Leibler散度通常表示为，

d_{ķ 大号} （ P ‖ 问 ） = \sum_{一世} P （ 一世 ） \ln \frac{P （ 一世 ）}{问 （ 一世 ）}

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \ln\frac{P(i)}{Q(i)}$

其中是使用逼近时信息丢失的度量。因此，我们要设置和，因为我们想测量使用近似时丢失了多少信息。这给了我们 $D_{\mathrm{KL}}(P\|Q)$ $Q$ $P$ $P=E^i$ $Q=a^L$ $a^i_j$ $E^i_j$

C_{ķ 大号} （ w ^， 乙 ， {小号}^{[R} ， Ë^{[R} ） = \sum_{Ĵ} Ë_{Ĵ}^{[R} 日志 \frac{Ë_{Ĵ}^{[R}}{{一种}_{Ĵ}^{大号}}

$C_{KL}(W, B, S^r, E^r)=\sum\limits_jE^r_j \log \frac{E^r_j}{a^L_j}$

此处的其他差异使用设置和相同想法。 $P=E^i$ $Q=a^L$

该成本函数相对于神经网络输出和某些样本的梯度为： $r$

\nabla_{一种} C = - \frac{Ë^{[R}}{{一种}^{大号}}

$\nabla_a C = -\frac{E^r}{a^L}$

广义Kullback–Leibler散度

从这里。

C_{G ķ 大号} （ w ^， 乙 ， {小号}^{[R} ， Ë^{[R} ） = \sum_{Ĵ} Ë_{Ĵ}^{[R} 日志 \frac{Ë_{Ĵ}^{[R}}{{一种}_{Ĵ}^{大号}} - \sum_{Ĵ} （ Ë_{Ĵ}^{[R} ） + \sum_{Ĵ} （ {一种}_{Ĵ}^{大号} ）

$C_{GKL}(W, B, S^r, E^r)=\sum\limits_j E^r_j \log \frac{E^r_j}{a^L_j} -\sum\limits_j(E^r_j) + \sum\limits_j(a^L_j)$

该成本函数相对于神经网络输出和某些样本的梯度为： $r$

\nabla_{一种} C = \frac{{一种}^{大号} - Ë^{[R}}{{一种}^{大号}}

$\nabla_a C = \frac{a^L-E^r}{a^L}$

Itakura–Saito距离

也是从这里。

C_{G ķ 大号} （ w ^， 乙 ， {小号}^{[R} ， Ë^{[R} ） = \sum_{Ĵ} （ \frac{Ë_{Ĵ}^{[R}}{{一种}_{Ĵ}^{大号}} - 日志 \frac{Ë_{Ĵ}^{[R}}{{一种}_{Ĵ}^{大号}} - 1个 ）

$C_{GKL}(W, B, S^r, E^r)= \sum_j \left(\frac {E^r_j}{a^L_j} - \log \frac{E^r_j}{a^L_j} - 1 \right)$

该成本函数相对于神经网络输出和某些样本的梯度为： $r$

\nabla_{一种} C = \frac{{一种}^{大号} - Ë^{[R}}{{（ {一种}^{大号} ）}^{2}}

$\nabla_a C = \frac{a^L-E^r}{\left(a^L\right)^2}$

其中。换句话说，等于将每个元素平方。 $\left(\left(a^L\right)^2\right)_j = a^L_j \cdot a^L_j$ $\left( a^L\right) ^2$ $a^L$

— Phylliida
source

感谢您的分享，您还可以考虑以下内容：github.com/torch/nn/blob/master/doc/criterion.md

— Yannis Assael，2015年

您在交叉熵导数的分母中有一个小错误，应该a*(1-a)不是a*(1+a)

— Amro

显示弹珠损失函数以最小化误差分位数而不是平均误差也很酷。非常用于决策支持系统。

— 里卡多·克鲁兹

我在哪里可以看到这些图形？

— coiso

关于二次成本函数，您应该注意“均方误差” “最大似然” “求和平方误差”。作者可以（错误地）互换使用名称，但他们不是同一个人。

\neq

$\neq$

\neq

$\neq$

— 乔恩

没有评论的声誉，但是在最后三个渐变中存在符号错误。

在KL散度中，这相同的符号错误出现在广义KL散度中。

\begin{aligned} C & = \sum_{Ĵ} Ë_{Ĵ} 日志 （ Ë_{Ĵ} / {一种}_{Ĵ} ） \\ = \sum_{Ĵ} Ë_{Ĵ} 日志 （ Ë_{Ĵ} ） - Ë_{Ĵ} 日志 （ {一种}_{Ĵ} ） \\ d C & = - \sum_{Ĵ} Ë_{Ĵ} d 日志 （ {一种}_{Ĵ} ） \\ = - \sum_{Ĵ} （ Ë_{Ĵ} / {一种}_{Ĵ} ） d {一种}_{Ĵ} \\ \nabla_{一种} C & = \frac{- Ë}{一种} \end{aligned}

$\eqalign{ C &= \sum_j E_j\log(E_j/a_j) \cr &= \sum_j E_j\log(E_j) - E_j\log(a_j) \cr\cr dC &= -\sum_j E_j\,\,d\log(a_j) \cr &= -\sum_j (E_j/a_j)\,da_j \cr\cr \nabla_a C &= \frac{-E}{a} \cr\cr }$

在Itakura-Saito距离中，

\begin{aligned} C & = \sum_{Ĵ} （ Ë_{Ĵ} / {一种}_{Ĵ} ） - 日志 （ Ë_{Ĵ} / {一种}_{Ĵ} ） - 1个 \\ = \sum_{Ĵ} （ Ë_{Ĵ} / {一种}_{Ĵ} ） - 日志 （ Ë_{Ĵ} ） + 日志 （ {一种}_{Ĵ} ） - 1个 \\ d C & = \sum_{Ĵ} （ - Ë_{Ĵ} / {一种}_{Ĵ}^{2} ） d {一种}_{Ĵ} + d 日志 （ {一种}_{Ĵ} ） \\ = \sum_{Ĵ} （ 1个 / {一种}_{Ĵ} ） d {一种}_{Ĵ} - （ Ë_{Ĵ} / {一种}_{Ĵ}^{2} ） d {一种}_{Ĵ} \\ = \sum_{Ĵ} （ {一种}_{Ĵ} - Ë_{Ĵ} ） / {一种}_{Ĵ}^{2} d {一种}_{Ĵ} \\ \nabla_{一种} C & = \frac{一种 - Ë}{（ 一种 ）^{2}} \end{aligned}

$\eqalign{ C &= \sum_j (E_j/a_j) - \log(E_j/a_j) - 1 \cr &= \sum_j (E_j/a_j) - \log(E_j) + \log(a_j) -1 \cr\cr dC &= \sum_j (-E_j/a^2_j)\,da_j + d\log(a_j) \cr &= \sum_j (1/a_j)\,da_j - (E_j/a^2_j)\,da_j \cr &= \sum_j (a_j-E_j)/a^2_j\,\,\,da_j \cr\cr \nabla_a C &= \frac{a-E}{(a)^2} \cr }$

— 坦率
source