神经网络中多类别，多标签分类任务的损失函数是什么？

我正在训练一个神经网络，以将一组对象分类为n类。每个对象可以同时属于多个类（多类，多标签）。

我读到，对于多类问题，通常建议使用softmax和分类交叉熵代替mse作为损失函数，并且我或多或少地了解了为什么。

对于我的多标签问题，使用softmax当然是没有意义的，因为每种类别的概率都应该彼此独立。因此，我的最后一层就是S型单元，将其输入压缩到每个类的概率范围为0..1。

现在我不确定应该使用什么损失函数。观察分类交叉熵的定义，我认为它不适用于此问题，因为它将仅考虑应为1的神经元输出，而忽略其他神经元的输出。

二进制交叉熵听起来更合适，但是我只看到它曾经针对单个输出神经元的二进制分类问题提到过。

我正在使用python和keras进行培训，以防万一。

如果您使用的是keras，只需将Sigmoids放在输出层上，将binary_crossentropy放在cost函数上。

如果您使用的是tensorflow，则可以使用sigmoid_cross_entropy_with_logits。但就我而言，这种直接损失函数并未收敛。所以我最终使用了显式的S型交叉熵损失。您可以在此示例中制作自己的$(y \cdot \ln(\text{sigmoid}(\text{logits})) + (1-y) \cdot \ln(1-\text{sigmoid}(\text{logits})))$

与softmax不同，Sigmoid不会给出周围的概率分布作为输出，而是给出独立的概率。$n_{classes}$

如果平均而言，为任何行分配的标签较少，则可以使用softmax_cross_entropy_with_logits，因为在类互斥的情况下，由于这种损失，所以不需要这样。所需要的只是标签的每一行都是有效的概率分布。如果不是，则梯度的计算将不正确。

更新（18/04/18）：旧的答案仍然被证明对我的模型有用。诀窍是分别对分区函数和分布建模，从而利用softmax的功能。

考虑您的观察向量包含标签。 （如果样本i包含标签m，则为1，否则为0）。因此，目标是以每个样本的方式对矩阵建模。因此，模型评估。考虑扩展以实现两个属性：$y$$m$$y_{im}=\delta_{im}$$F(y_i,x_i)=-\log P(y_i|x_i)$$y_{im}=Z\cdot P(y_m)$

1. 分布函数：$\sum_m P(y_m) = 1$
2. 分区函数：估计标签数$Z$

然后是分别对两者建模的问题。最好使用softmax层对分布函数进行建模，而可以使用线性单位对分区函数进行建模（在实践中，我将其裁剪为。更复杂的建模（例如泊松单元）可能会更好地工作）。然后，您可以选择应用分布式损失（在分配上分配KL，在分区上分配MSE），也可以在其产品上尝试以下损失。$max(0.01,output)$

实际上，优化器的选择也有很大的不同。我使用分解法的经验是，它在Adadelta下效果最佳（Adagrad对我不起作用，尚未尝试RMSprop，SGD的性能受参数影响）。

关于乙状结肠的旁注：我当然已经尝试过乙状结肠+交叉熵，但没有奏效。该模型仅倾向于预测，而无法捕获分布函数的变化。（又名，它在某种程度上对分区建模很有用，其背后可能存在数学原因）$Z$

更新：（随机的想法）似乎使用Dirichlet程序会允许一些事先合并的标签数目吗？

更新：通过实验，修改后的KL散度仍然倾向于提供多类输出，而不是多标签输出。

（旧答案）

我对S形交叉熵的体验不是很愉快。目前，我正在使用改良的KL散度。它采取的形式

由于未归一化，它们被称为伪分布。因此，如果您有2个用于特定样本的标签，则可以。$\sum_x{P(x)}=2$

Keras推动

def abs_KL_div(y_true, y_pred):
    y_true = K.clip(y_true, K.epsilon(), None)
    y_pred = K.clip(y_pred, K.epsilon(), None)
    return K.sum( K.abs( (y_true- y_pred) * (K.log(y_true / y_pred))), axis=-1)

我还没用过keras。以caffe为例，您可以使用它SigmoidCrossEntropyLossLayer解决多标签问题。

实际上在张量流中您仍然可以将其sigmoid_cross_entropy_mean用作多标签中的损失计算功能，我非常确认

我是这里的新手，但是我会尝试解决这个问题。我在搜索与您相同的东西，最后我找到了一个很好的keras多类分类教程@ http://machinelearningmastery.com/multi-class-classification-tutorial-keras-deep-learning-library/。

该教程的作者使用分类交叉熵损失函数，并且还有其他线程可以帮助您在此处找到解决方案。