帮助在线搜索中确定三次插值和二次插值

我正在执行行搜索，作为准牛顿BFGS算法的一部分。在行搜索的第一步中，我使用三次插值法将其移近局部最小化器。

让 $f : R \rightarrow R, f \in C^1$是感兴趣的功能。我想找到一个$x^*$ 这样 $f'(x^*) \approx 0$。

让 $f(x_k)$， $f'(x_k)$， $f(x_{k+1})$ 和 $f'(x_{k+1})$被知道。还假设$0\le x_k<x^*<x_{k+1}$。我适合三次多项式$Q(x)=ax^3+bx^2+cx+d$ 以便 $Q(0)=f(x_k)$， $Q'(0)=f'(x_k)$， $Q(x_{k+1}-x_{k})=f(x_{k+1})$ 和 $Q'(x_{k+1}-x_{k})=f'(x_{k+1})$。

我求解二次方程： $(1): Q'(x^*-x_k) = 0$ 为了我的追寻 $x^*$ 使用封闭式解决方案。

上面的方法在大多数情况下效果很好，除了 $f(x)=\mathcal{O}(x^2)$ 作为封闭式解决方案 $(1)$ 除以 $a$ 变得非常接近或完全 $0$。

我的解决方案是看 $a$ 如果它“太小”，只需对二次多项式的极小值采用封闭形式的解 $Q_2(x)=bx^2+cx+d$ 为此我已经有了系数 $b,c,d$ 从早期的适合 $Q(x)$。

我的问题是：如何为何时对三次方进行二次插值设计一个好的测试？天真的方法来测试$a \equiv 0$ 由于数字原因是不好的，所以我在看 $|a| < \epsilon\tau$ 哪里 $\epsilon$ 是机器的精度，但我无法决定一个好的 $\tau$ 那是规模不变 $f$。

奖励问题：使用系数时是否存在任何数值问题，$b,c,d$，从失败的三次拟合中得出，还是应该使用适当的系数计算方式执行新的二次拟合？

编辑澄清： 在我的问题$f$ 实际上就是通常所说的 $\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$在文学中。我只是简化了问题的表述。我要解决的优化问题在6维上是非线性的。而且我很清楚Wolfe条件足以进行BFGS线搜索，因此表示我对$f'(x^*) \approx 0$; 我正在寻找能够满足强Wolfe条件的事物，并且采用三次逼近的极小值是此过程中的一个好步骤。

问题不在于BFGS，而在于如何确定何时三次系数足够小以至于二次近似更合适。

编辑2：更新符号，方程式不变。

嗯...三次内插并不是线搜索所未闻的，但通常是过大的。

如果我正确阅读了您的问题， $x$只是一个标量？在这种情况下，BFGS可能不是解决问题的最有效方法。Brenth方法之类的标量优化算法可能会更快地解决您的问题。

BFGS有许多行搜索算法。对于我自己的应用程序，使用内存受限的BFGS（L-BFGS），此寻线效果很好。请记住，您只需要满足Wolfe条件，并且通过找到确切的最小化器可能不会获得太多收益。

无论如何，要实际回答您的问题：如果求解三次方会产生“不良”值（例如NaN或Inf ），我将考虑简单地切换到二次多项式（如此处所示）。

我不太确定您使用什么意思 $b,c,d$？三次拟合的这些系数与二次拟合的系数不同，因此您无法重复使用它们。

最后，您可能要使用 $f(x_{k-1})$ ， 而不是 $f(x_0)$，因为您的函数在局部（大概）只能是三次或二次方的，并且 $x_k$ 和 $x_{k-1}$ 彼此之间（以及解决方案）应该比 $x_0$。

希望这可以帮助。

莫雷（Moré）发表了一篇论文，该论文由Nocedal执行，内容涉及：

豪尔赫·莫雷（Jorge J.Moré）和大卫·图恩特（David J. 1994.保证足够减少的线搜索算法。ACM Trans。数学。软。20，3（1994年9月），286-307。DOI http://dx.doi.org/10.1145/192115.192132 （预印本）。