神经网络中的交叉熵代价函数

我正在看本教程中发现的交叉熵成本函数：

$$C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$$

我们到底要总结什么？当然，过，但和不改变。所有的的被输入到所述一个。 甚至在方程以上段落中，因为所有的和的函数来定义的和的。 $x$$y$$a$$x$$x$$a$$a$$w$$x$

另外，定义为输入到该特定神经元的数量，对吗？它被表述为“训练数据项的总数”。$n$

---

编辑：

我认为正确吗

$$C= -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$$

将是整个网络的成本函数，而

$$C = [y \ln a+(1−y)\ln(1−a)]$$

单个神经元的成本是多少？总和不应该超过每个输出神经元吗？

这是我如何表示交叉熵损失：

$$\mathcal{L}(X, Y) = -\frac{1}{n} \sum_{i=1}^n y^{(i)} \ln a(x^{(i)}) + \left(1 - y^{(i)}\right) \ln \left(1 - a(x^{(i)})\right)$$

这里，是训练数据集中的输入示例集合，是这些输入示例的相应标签集。的表示的神经网络给定的输入的输出。$X = \left\{x^{(1)},\dots,x^{(n)}\right\}$$Y=\left\{y^{(1)},\dots,y^{(n)} \right\}$$a(x)$$x$

每一个都为0或1，并且通常通过使用logistic Sigmoid将输出激活限制为打开间隔（0，1）。例如，对于单层网络（等效于逻辑回归），激活将由，其中是a权重矩阵，是偏差向量。对于多层，可以将激活函数扩展为，其中和是第一层的权重矩阵和偏差，而$y^{(i)}$$a(x)$

$$a(x) = \frac{1}{1 + e^{-Wx-b}}$$ $W$$b$ $$a(x) = \frac{1}{1 + e^{-Wz(x)-b}} \\ z(x) = \frac{1}{1 + e^{-Vx-c}}$$ $V$$c$$z(x)$ 是网络中隐藏层的激活。

我使用（i）上标来表示示例，因为我发现它在Andrew Ng的机器学习课程中非常有效；有时人们将示例表示为矩阵中的列或行，但是想法仍然相同。

我们到底要总结什么？

该教程实际上非常明确：

...是训练数据的总数，所有训​​练输入的总和...$n$

教程（公式57）中给出的原始单个神经元代价函数在下也带有下标，这可能暗示了这一点。对于单个神经元情况，除了训练示例外，没有其他要总结的内容，因为在计算时，我们已经对所有输入权重进行了求和：Σ $x$$\Sigma$$a$

$$a = \sum_{j} w_jx_j.$$

---

在同一教程的稍后部分，尼尔森给出了多层，多神经元网络（方程63）的成本函数的表达式：

$$C = -\frac{1}{n}\sum_{x}\sum_{j}[ y_j \ln a^{L}_{j} + (1 - y_j) \ln (1 - a^{L}_{j})].$$

在这种情况下，总和遍历训练示例（ 's）和输出层（ 's）中的单个神经元。$x$$j$