为什么需要梯度下降？

当我们可以区分成本函数并通过求解通过对每个参数进行偏微分而获得的方程来找到参数时，找出成本函数最小的地方。另外，我认为有可能找到导数为零的多个位置，从而我们可以检查所有这些位置并找到全局最小值

为什么要执行梯度下降呢？

甚至在线性模型的情况下，如果您具有解析解，则仍然最好使用这种迭代求解器。

例如，如果我们考虑线性回归，则显式解需要将具有复杂度的矩阵求逆。在大数据的情况下，这变得令人望而却步。$O(N^3)$

另外，机器学习中的许多问题都是凸的，因此使用梯度可以确保我们达到极值。

正如已经指出的那样，仍然存在相关的非凸问题，例如神经网络，其中梯度方法（反向传播）提供了有效的求解器。同样，这与深度学习的情况特别相关。

不需要梯度下降。事实证明，梯度下降通常是效率极低的优化算法！对于迭代方法，通常可以找到比梯度最陡峭的方向更好的方向。

不过，这只是一个小小的回答。您的问题确实应该是：“为什么我们需要迭代方法？” 例如。如果问题是凸的，Slater条件成立，并且一阶条件是必要的，并且是最优的充分条件，为什么不直接解决呢？也就是说，当解决方案可以描述为方程组的解决方案时，为什么不简单地求解该系统呢？答案是：

• 对于二次优化问题，一阶条件是线性方程组，我们可以直接解决问题，因为线性系统可以有效地求解！我们确实使用一阶条件并求解系统（例如，使用QR分解，在下面进行警告）。
• 不过，更笼统地说，一阶条件定义了一个非线性方程组，非线性系统可能很难解决！实际上，您通常用数值方法求解非线性方程组的方法是将其重新构造为优化问题...
• 对于非常大的线性系统，用QR分解和部分枢轴直接求解系统变得不可行。人们在做什么？迭代方法！（例如，迭代Krylov子空间方法...）

在微积分101中，我们学习了如何使用“分析方法”优化函数：我们只需要获取成本函数的导数并将导数设置为0，然后求解方程即可。这确实是一个玩具问题，在现实世界中几乎不会发生。

$x^7+x^3-5^2+e^x+log(x+x^2)+1/x=0$$x=1.4786$，但不知道解析解决方案）。我们必须使用一些数值方法（检查为什么在多项式情况下为Abel Ruffin定理）。

$f(x)=x^2$$x=0$$x=1.1234\times10^{-20}$

$f(x_1,x_2)=x_1^2+x_2^2+|x_1+x_2|$$(1,1)$$4.0$$(x_1,x_2)$$x_1$ $x_2$$x$$y$$(1,1)$$(3,3)$$\alpha=0.001$$(-0.003,-0.003)$$1, 1$$(0.997, 0.997)$

您提到的方法只能用于求解线性方程组，例如在线性回归的情况下，但是对于解决一组非线性方程式来说，例如在具有S型激活的神经网络的情况下，梯度下降是一种方法去。因此，梯度下降是一种更通用的方法。

即使对于线性方程，由线性方程组给定的矩阵的大小也很大，并且可能难以约束存储要求。