梯度下降和共轭梯度下降

对于一个项目，我必须实现这两种方法并比较它们在不同功能上的执行方式。

看来共轭梯度法是要解决的线性方程组

$$A\mathbf{x} = \mathbf{b}$$

其中是对称，正定和实数的n×n矩阵。$A$

另一方面，当我阅读有关梯度下降的文章时，我看到了Rosenbrock函数的示例，即

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

如我所见，我无法使用共轭梯度法解决此问题。还是我想念什么？

梯度下降法和共轭梯度法都是最小化非线性函数（即像Rosenbrock函数这样的函数）的算法

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

或多元二次函数（在这种情况下为对称二次项）

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

两种算法都是基于迭代和搜索方向的。在本文的其余部分，和将是长度为向量；和是标量，上标表示迭代索引。可以使用梯度下降和共轭梯度法来找到可求解的值d Ñ ˚F （X ）α X $x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

两种方法都从初始猜测，然后使用以下形式的函数计算下一个迭代$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

换句话说，通过从当前位置并沿搜索方向移动一段距离，可以找到的下一个值。在两种方法中，移动距离可以由线搜索（发现最小化在）。也可以应用其他标准。两种方法的不同之处在于它们对的选择。对于梯度方法，。对于共轭梯度法，使用Grahm-Schmidt程序正交化梯度向量。特别是，但是等于X 我ð 我α 我 ˚F （X 我 + α 我ð 我）α 我ð 我ð 我 = - ∇ ˚F （X 我）d 0 = - ∇ ˚F （X 0）d 1 - ∇ ˚F （X 1）d 0（d 1 ）T d 0 = $x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$减去该向量在上的投影，使得。每个随后的梯度矢量都与所有先前的梯度矢量正交，这为上面的二次函数提供了非常好的属性。$d^0$$(d^1)^Td^0 = 0$

上面的二次函数（及相关公式）也是使用共轭梯度法求解的讨论的地方，因为的最小值在的点处实现。f （x ）x A x = $Ax = b$$f(x)$$x$$Ax = b$

在这种情况下，这两种方法都可以视为函数的最小化问题： 当是对称的，则最小化时。AϕAx=

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

梯度下降是一种通过沿梯度方向进行迭代搜索最小化器的方法。共轭梯度相似，但搜索方向也必须彼此正交，即。$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$