为什么神经网络的成本函数是非凸的？

这里有一个类似的线程（神经网络的成本函数是非凸的？），但我无法理解那里答案的要点，我再次询问的原因希望这可以澄清一些问题：

如果我使用差额成本函数平方和，那么我最终将优化形式的某物，其中是训练期间的实际标签值相位，是预测标签值。由于它具有正方形形式，因此应该是凸成本函数。那么，什么会使它在NN中不凸？$\Sigma_{i=1}^{N}(y_i - \hat{y_i})^2$$y$$\hat{y}$

$\sum_i (y_i- \hat y_i)^2$实际上在是凸的。但是，如果可能在不是凸的，这是大多数非线性模型的情况，并且我们实际上关心中的凸性，因为这就是我们正在优化的成本函数结束。$\hat y_i$$\hat y_i = f(x_i ; \theta)$$\theta$$\theta$

例如，让我们考虑一个具有1个单位的隐藏层和一个线性输出层的网络：我们的成本函数为 其中，和（为简单起见，我省略了偏项）。当视为的函数时，这不一定是凸的（取决于：如果使用线性激活函数，则它仍可以是凸的）。而且我们的网络越深入，凸出的事物就越少。克（α ，w ^ ）= Σ我（ÿ 我 - α 我 σ （w ^ X 我）） 2 X 我 ∈ [R p w ^ ∈ [R Ñ × p（α ，w ^ ）$N$

现在定义一个函数由其中，是与设置为，设置为。这使我们可以直观地看到这两个权重变化时的成本函数。 h （u ，v ）= g （α ，W （u ，v ））W （u ，v ）W W 11 u W 12$h : \mathbb R \times \mathbb R \to \mathbb R$$h(u, v) = g(\alpha, W(u, v))$$W(u,v)$$W$$W_{11}$$u$$W_{12}$$v$

下图显示了针对，和的S形激活函数（非常简单的体系结构）。所有数据（和）都是iid，在绘图函数中未改变的任何权重也是如此。您可以在这里看到缺乏凸性。p = 3 Ñ = 1 X ý Ñ（0 ，1 $n=50$$p=3$$N=1$$x$$y$$\mathcal N(0,1)$

这是我用来制作该图的R代码（尽管某些参数现在的值与我制作时的值略有不同，因此它们将不相同）：

costfunc <- function(u, v, W, a, x, y, afunc) {
  W[1,1] <- u; W[1,2] <- v
  preds <- t(a) %*% afunc(W %*% t(x))
  sum((y - preds)^2)
}

set.seed(1)
n <- 75  # number of observations
p <- 3   # number of predictors
N <- 1   # number of hidden units


x <- matrix(rnorm(n * p), n, p)
y <- rnorm(n)  # all noise
a <- matrix(rnorm(N), N)
W <- matrix(rnorm(N * p), N, p)

afunc <- function(z) 1 / (1 + exp(-z))  # sigmoid

l = 400  # dim of matrix of cost evaluations
wvals <- seq(-50, 50, length = l)  # where we evaluate costfunc
fmtx <- matrix(0, l, l)
for(i in 1:l) {
  for(j in 1:l) {
    fmtx[i,j] = costfunc(wvals[i], wvals[j], W, a, x, y, afunc)
  }
}

filled.contour(wvals, wvals, fmtx,plot.axes = { contour(wvals, wvals, fmtx, nlevels = 25, 
                                           drawlabels = F, axes = FALSE, 
                                           frame.plot = FALSE, add = TRUE); axis(1); axis(2) },
               main = 'NN loss surface', xlab = expression(paste('W'[11])), ylab = expression(paste('W'[12])))