多项式逻辑损失vs（交叉熵vs平方误差）

我观察到Caffe（深度学习框架）使用Softmax损失层 SoftmaxWithLoss作为大多数模型样本的输出层。

据我所知，Softmax损失层是多项逻辑损失层和Softmax层的组合。

他们从Caffe说

Softmax损失层梯度计算在数值上更稳定

但是，这种解释不是我想要的答案，它只是比较多项逻辑损失层和Softmax损失层的组合，而不是逐层进行比较。但是不能与其他类型的损失函数相比较。

但是，我想更多地了解在监督学习的角度来看这3个误差函数（即多项式Logistic损失，交叉熵（CE）和平方误差（SE））的区别/优点/缺点是什么？有支持文章吗？

— 卡法
source

只是一个提示：如果您在问题中添加标签“ caffe”，我想您会得到更快的答案。还将其发布在stackoverflow而不是stackexchange上可能会引起更多关注。

— mcExchange 2015年

组合使得梯度易于计算y-t。willamette.edu/~gorr/classes/cs449/classify.html

— Wu Jingpeng Wu

Answers:

$J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right].$

通常用于分类问题。该方误差具有类似于等式 $\frac 1 {2N} \sum_{i=1}^N \| x^1_i - x^2_i \|_2^2.$

因此，通常将其用于最小化使用某些构造错误。

编辑：@MartinThoma上面的多项式物流损失公式仅适用于二进制情况，对于一般情况，应为，其中K是类别数。 $J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— 黑客
source

在Caffe中，MultinomialLogisticLoss是，那么谁错了？

\frac{- 1}{N} \sum_{n = 1}^{N} \log (p_{n, l_{n}})

$\frac{-1}{N}\sum_{n=1}^{N}\log(p_{n,l_n})$

— moi

没错，是二进制变量，最后可以将其简化为公式。

y^{i}

$y^i$

— beahacker

我认为多邮件的后勤损失没有第二个加法，因此

J (θ) = - \frac{1}{m} [\sum_{i = 1}^{m} y^{(i)} \log h_{θ} (x^{(i)})]

$J(\theta) = - \frac{1}{m} [\sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)})]$

— 马丁·托马

@MartinThoma我的公式仅适用于二进制情况，对于一般情况，应为

J (θ) = - [\sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log P (y^{(i)} = k | x^{(i)}; θ)]

$J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— beahacker

@beahacker您能告诉我为什么马丁·托马（Martin Thoma）指出第二个被加数不包含在多项式中。我试图理解为什么这样做。您至少可以指出一些需要研究的资源。

— Nandeesh

我想进一步了解这三种误差函数在有监督学习的角度上分别是多项式逻辑损失，交叉熵（CE）和平方误差（SE）的区别/优点/缺点吗？

实际上，多项式逻辑损失与交叉熵相同。看一下这个函数（softmax中的成本函数）：其中m是样本编号，K是类编号。

J (θ) = - \sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log p (y^{(i)} = k ∣ x^{(i)}; θ)

$J( \theta ) = - \sum^m_{i=1} \sum^K_{k=1} 1 \{ y^{(i)} = k \} \log p(y^{(i)} = k \mid x^{(i)} ; \theta)$

指标函数（）确定交叉熵定义中波纹管是0还是1，在训练数据中标记为1 hot，而是softmax（q（x）的条件似然，如下所示）。 $1 \{ y^{(i)} = k \}$ $p(x)$ $p(y^{(i)} = k \mid x^{(i)} ; \theta)$

- \sum_{x} p (x) \log q (x)

$-\sum_x p(x) \log q(x)$

MSE主要用于链接函数为单位函数（响应分布遵循正态分布），标准线性回归的情况，而交叉熵通常用于链接函数为logit函数的情况。这是您可以参考的很棒的比较。

有支持文章吗？

除了链接中的链接，建议您使用以下示例：https : //github.com/rasbt/python-machine-learning-book/blob/master/faq/softmax_regression.md

— 张乐纳
source