假设我要进行二进制分类（属于A类或B类）。在神经网络的输出层中可以执行以下操作：

• 使用1个输出节点。输出0（<0.5）被视为A类，输出1（> = 0.5）被视为B类（在S型情况下）

• 使用2个输出节点。输入属于具有最高值/概率（argmax）的节点的类别。

是否有书面论文对此进行了讨论？要搜索哪些特定关键字？

这个问题已经在此站点上问过，例如，看到此链接时没有真实答案。我需要做出选择（硕士论文），因此我想深入了解每种解决方案的优点/缺点/局限性。

在第二种情况下，您可能正在写有关softmax激活功能的文章。如果是这样，那么乙状结肠只是softmax函数的一种特殊情况。这很容易显示。

$$y = \frac{1}{1 + e ^ {-x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{e ^ x}{1 + e ^ x} = \frac{e ^ x}{e ^ 0 + e ^ x}$$

如您所见，乙状结肠与softmax相同。您可以认为您有两个输出，但是其中一个输出的所有权重均等于零，因此其输出将始终等于零。

因此，对于二进制分类，更好的选择是使用一个具有Sigmoid的输出单元，而不是使用具有两个输出单元的softmax，因为它将更新得更快。

机器学习算法（例如分类器）在此通过确定属于不同类别的输入的概率对输入数据进行统计建模。对于任意数量的类，通常在模型上附加一个softmax层，因此，根据设计，输出将具有概率属性：

$$\vec{y} = \text{softmax}(\vec{a}) \equiv \frac{1}{\sum_i{ e^{-a_i} }} \times [e^{-a_1}, e^{-a_2}, ...,e^{-a_n}]$$

$$0 \le y_i \le 1 \text{ for all i}$$ $$y_1 + y_2 + ... + y_n = 1$$

$a$

这对于两个类别完全有效，但是，只要其输出满足以下条件，就可以使用一个神经元（而不是两个）：

$$0 \le y \le 1 \text{ for all inputs.}$$ $a$$y$

$$\text{sigmoid}(a) \equiv \sigma(a) \equiv \frac{1}{1+e^{-a}}$$

有用的数学属性（微分，0和1之间的界线等），计算效率以及具有合适的斜率，以使更新网络的权重对于优化目的而言，输出的变化很小但可测量。

结论

我不确定@itdxer的显示softmax和sigmoid的推论是否有效，但是他对于二分类器选择1个神经元而不是2个神经元是正确的，因为需要较少的参数和计算。由于“它是多余的”，我也因使用两个神经元进行二进制分类而受到批评。