当记住什么是最小化或最大化以及优化如何工作时,可以更清楚地了解这些情况。
假设我们有功能 F 局部最小值 X0。优化方法尝试构建序列X一世 收敛到 X0。总是表明,理论上构造的序列对于某些类的函数收敛到局部极小点F。
获得迭代中的下一个候选 一世可能是一个漫长的过程,因此通常所有算法都会限制迭代次数。这对应于情况4。
然后每个 X 相近 X0 我们有 F(x )> f(X0)。因此,如果F(X一世)> f(Xi − 1)这表明我们已达到最低要求。这对应于情况3
现在,如果功能 F 在有一个导数 X0 然后必然 ∇ ˚F(X0)= 0。牛顿-拉夫森(Newton-Raphson)方法计算每个步骤的梯度,因此如果∇ ˚F(X一世)≈ 0, X一世可能是一种解决方案,对应于情况1。
实向量的每个收敛序列都是柯西序列,反之亦然,大致意味着 X一世 接近 X0, 然后 X一世 接近 X我+ 1 反之亦然 一世是迭代次数。因此,如果|X一世-Xi − 1| <ε,并且我们知道理论上 X一世 收敛到 X0,那么我们应该接近最低点。这对应于情况2。
收敛序列具有收缩的性质,即,如果我们接近收敛,则序列的所有其余元素都包含在较小的区域中。因此,如果理论上应该收敛的序列开始采取较大的步骤,则表明可能没有收敛。这对应情况 5
注意严格的数学定义被有意排除在外。