在神经网络中，均方误差是否总是凸出的？

我提到的多种资源都提到MSE很棒，因为它是凸的。但是我不知道怎么做，尤其是在神经网络的情况下。

假设我们有以下内容：

• $X$：训练数据集
• $Y$：目标
• $\Theta$：模型（具有非线性的神经网络模型）的参数集$f_\Theta$

然后：

为什么这个损失函数总是凸的？这是否取决于？$f_\Theta(X)$

简而言之，答案是：MSE本身在输入和参数上是凸的。但是在任意神经网络上，由于存在以激活函数形式存在的非线性，它并不总是凸的。我的答案的来源在这里。

凸性

的函数与是凸的，如果由于任何，并且对于任何， $f(x)$$x ∈ Χ$$x_1 ∈ Χ$$x_2 ∈ Χ$$0 ≤ λ ≤ 1$

$$f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$$

可以证明，这样的凸具有一个全局最小值。唯一的全局最小值消除了由局部最小值产生的陷阱，这些陷阱可能出现在试图实现全局最小值收敛的算法中，例如误差函数的最小化。$f(x)$

尽管误差函数在所有连续的线性上下文和许多非线性上下文中可能都是100％可靠的，但这并不意味着所有可能的非线性上下文都在全局最小值上收敛。

均方误差

给定一个描述理想系统行为的函数和一个系统（其中是参数矢量，矩阵，立方体或超立方体，），是通过合理或通过收敛创建的（如在神经网络训练中），均方误差（MSE）函数可以表示如下。$s(x)$$a(x, p)$$p$$1 ≤ n ≤ N$

您正在阅读的材料可能并不声称或相对于是凸的，但是相对于和是凸的不管它们是什么 对于任何连续的和都可以证明后面的陈述。 $a(x, p)$$s(x)$$x$$e(β)$$a(x, p)$$s(x)$$a(x, p)$$s(x)$

混淆收敛算法

如果问题在于是否可以混淆特定的和在合理的MSE收敛裕度内实现近似的方法，答案是“是”。因此，MSE不是唯一的错误模型。$a(x, p)$$s(x)$$a(x, p)$

摘要

最好的总结方法是，应基于以下知识，从一组凸误差模型中定义或选择。$e(β)$

• 系统已知性质$s(x)$
• 逼近模型$a(x, p)$
• 张量用于生成收敛序列中的下一个状态

股票凸误差模型集由于其简单性和计算节俭性而当然包括MSE模型。