机器学习：我应该使用分类交叉熵还是二进制交叉熵损失进行二进制预测？

首先，我意识到如果需要执行二进制预测，则必须通过执行一次热编码来创建至少两个类。它是否正确？但是，二元互熵是否仅适用于只有一个类别的预测？如果我使用大多数图书馆（例如TensorFlow）中常见的分类交叉熵损失，会不会有明显的不同？

实际上，分类交叉熵和二进制交叉熵之间的确切区别是什么？我从未在TensorFlow中看到过二进制交叉熵的实现，所以我认为也许绝对分类的效果同样好。

二项式交叉熵损失是的多项式交叉熵损失的特例。$m=2$

$$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$$

其中样本/观测值建立索引，索引类别，为样本标签（LSH的二进制，RHS上的一个热向量）和是样本的预测。$i$$j$$y$$p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$

二进制交叉熵用于多标签分类，而分类交叉熵用于多分类，其中每个示例都属于一个分类。

我认为有三种分类任务：

1. 二进制分类：两个互斥类
2. 多类别分类：两个以上专属类别
3. 多标签分类：仅非排他类

从这些，我们可以说

• 在（1）的情况下，您需要使用二进制交叉熵。
• 在（2）的情况下，您需要使用分类交叉熵。
• 在（3）的情况下，您需要使用二进制交叉熵。您可以将多标签分类器视为一个单独的二进制分类器。如果这里有10个类，则分别有10个二进制分类器。每个二进制分类器都是独立训练的。因此，我们可以为每个样本生成多标签。如果要确保必须至少获取一个标签，则可以选择分类损失函数最低的标签，或使用其他指标。

我要强调的是，多类分类与多标签分类并不相似！而是，多标签分类器从二进制分类器中借鉴了一个想法！