在梯度下降中使用固定步长时，为什么步长会变小？

9

假设我们正在做一个关于梯度合适的玩具示例，使用固定步长最小化二次函数。（） $x^TAx$ $\alpha=0.03$ $A=[10, 2; 2, 3]$

如果在每次迭代中绘制的轨迹，我们将得到下图。当我们使用固定步长时，为什么点变得“非常密集” ？直观地，它看起来不像固定步长，而是递减的步长。 $x$

PS：R代码包括情节。

A=rbind(c(10,2),c(2,3))
f <-function(x){
  v=t(x) %*% A %*% x
  as.numeric(v)
}
gr <-function(x){
  v = 2* A %*% x
  as.numeric(v)
}

x1=seq(-2,2,0.02)
x2=seq(-2,2,0.02)
df=expand.grid(x1=x1,x2=x2)
contour(x1,x2,matrix(apply(df, 1, f),ncol=sqrt(nrow(df))), labcex = 1.5, 
        levels=c(1,3,5,10,20,40))
grid()

opt_v=0
alpha=3e-2
x_trace=c(-2,-2)
x=c(-2,-2)
while(abs(f(x)-opt_v)>1e-6){
  x=x-alpha*gr(x)
  x_trace=rbind(x_trace,x)
}
points(x_trace, type='b', pch= ".", lwd=3, col="red")
text(x_trace, as.character(1:nrow(x_trace)), col="red")

r machine-learning optimization gradient-descent

— 海涛都
source

您的代码与您的描述不符：它使用的alpha=3e-2不是。

0.01

$0.01$

— whuber

12

令其中是对称且正定的（根据您的示例，我认为该假设是安全的）。然后，我们可以对角化作为。使用基数。然后我们有 $f(x) = \frac 12 x^T A x$ $A$ $\nabla f(x) = Ax$ $A$ $A = Q\Lambda Q^T$ $y =Q^T x$

F （ ÿ ） = \frac{1个}{2} ÿ^{Ť} Λ ÿ ⟹ \nabla F （ ÿ ） = Λ ÿ 。

$f(y) = \frac 12 y^T \Lambda y \implies \nabla f(y) = \Lambda y.$

$\Lambda$ 是对角线，因此我们得到更新为

ÿ^{（ ñ + 1个 ）} = ÿ^{（ ñ ）} - α Λ ÿ^{（ ñ ）} = （ 一世 - α Λ ） ÿ^{（ ñ ）} = （ 一世 - α Λ ）^{ñ + 1个} ÿ^{（ 0 ）} 。

$y^{(n+1)} = y^{(n)} - \alpha \Lambda y^{(n)} = (I - \alpha \Lambda)y^{(n)} = (I - \alpha \Lambda)^{n+1}y^{(0)}.$

这意味着控制收敛，并且只有。在您的情况下，我们有所以 $1 - \alpha \lambda_i$ $|1 - \alpha \lambda_i| < 1$

Λ \approx （ \begin{array}{cc} 10.5 & 0 \\ 0 & 2.5 \end{array} ）

$\Lambda \approx \left(\begin{array}{cc} 10.5 & 0 \\ 0 & 2.5\end{array}\right)$

一世 - α Λ \approx （ \begin{array}{cc} 0.89 & 0 \\ 0 & 0.98 \end{array} ） 。

$I - \alpha \Lambda \approx \left(\begin{array}{cc} 0.89 & 0 \\ 0 & 0.98\end{array}\right).$

从特征值的特征向量的方向上，我们可以相对较快地收敛，这是通过迭代如何很快地使抛物面的较陡峭部分下降而看到的，但是在特征向量较小的特征向量方向上，收敛是缓慢的，因为非常接近。因此，即使学习率是固定的，该方向上步长的实际大小也会根据大约衰减 $\lambda \approx 10.5$ $0.98$ $1$ $\alpha$ $(0.98)^n$ 这变得越来越慢。这就是导致此方向上的进度呈指数级下降的原因（它在两个方向上都发生，但是另一个方向足够近，以至于我们不注意或不在意）。在这种情况下，如果增加，收敛会更快。 $\alpha$

为了对此进行更好，更彻底的讨论，我强烈建议https://distill.pub/2017/momentum/。

— jld
source

感谢您的详细回答和参考！改变的基础确实帮助了我。

y

$y$

— 海涛杜

11

对于平稳函数，在局部最小值处。 $\nabla f=0$

因为您的更新方案是，所以幅度控制步长。对于您的二次也是如此（只需计算您的情况下二次的hessian）。请注意，这不一定总是正确的。例如，对尝试相同的方案。那么您的步长始终为因此将永远不会减小。或更有趣的是，，其中y坐标中的渐变变为0，而坐标中的渐变变为0 。请参阅Chaconne的答案以了解二次方法。 $\alpha \nabla f$ $|\nabla f|$ $|\Delta f|\rightarrow 0$ $f(x)=x$ $\alpha$ $f(x,y)=x+y^2$ $x$

— 亚历克斯·R。
source