噪声函数的数学优化

令是一个相当不错的函数（例如，连续，可微，局部最大值不太多，凹面等）。我想找到的最大值：值使尽可能大。$f:\mathbb{R}^d \to \mathbb{R}$X ∈ [R d ˚F （X $f$$x \in \mathbb{R}^d$$f(x)$

如果我有一个程序可以根据自己选择的任何输入精确地评估，则可以使用标准的数学优化技术：爬坡，梯度下降（井，梯度上升）等。但是，在我的应用程序中，我没有准确评估。相反，我有一种方法来估计的值。$f$f （x $f(x)$$f(x)$

特别地，给定任何和任何，我有一个预言器将输出的估计值，并且其预期误差约为。此oracle调用的运行时间与成正比。（它是通过一种模拟实现的；模拟的精度随试验次数的平方根增加，因此我可以选择运行多少试验，因此可以选择所需的精度。）一种估算我想要的准确度的方法，但是我想要的估算值越准确，则花费我的时间就越长。ε ˚F （X ）ε 1 / ε $x$$\varepsilon$$f(x)$$\varepsilon$$1/\varepsilon^2$

给定嘈杂预言，是否有任何技术可以尽可能有效地计算的最大值？（或者，更确切地说，找到一个近似的最大值。）在此模型中是否存在爬坡，梯度下降等的变体？$f$$f$

当然，我可以固定一个很小的值，并使用此oracle进行爬山或梯度下降，并始终保持相同的。但是，这可能会不必要地造成效率低下：我们可能不需要在起点附近进行如此精确的估算，而当您在解决方案中进行归零时，在终点附近进行精确度更为重要。那么，有什么方法可以利用我动态地控制估计精度的能力，从而使优化过程更有效吗？以前有没有研究过这种问题？$\varepsilon$$\varepsilon$

一个人可以用噪声函数替换精确的函数，其中是一个人造参数，用于描述噪声依赖性，例如和包含噪声。˚F （X + Δ X ，p + Δ p ）p Δ X Δ $f(x,p)$$f(x+\Delta x, p + \Delta p)$$p$$\Delta x$$\Delta p$

• 随机优化和鲁棒优化中使用的某些技术可能适用。
• 由于的最大值附近，ΔX是小于危险Δp。$\frac{\partial f}{\partial x}\approx 0$$\Delta x$$\Delta p$
• 有时可以精确地近似，同时评估˚F（〜X，〜p）。通常，这仅在理论上是正确的，因为它没有实现，并且某些部分需要特别注意。$\frac{\partial f}{\partial x}(\tilde{x}, \tilde{p})$$f(\tilde{x}, \tilde{p})$
• 的所希望的“小” （和Δ X）是一个“最终用户”的决定。可以提供启发式方法来控制它，但是与1 / ϵ 2成比例的运行时对于全自动精度处理而言太慢了。$\Delta p$$\Delta x$$1/\epsilon^2$
• 给定的噪声与运行时间之间的权衡是使该问题与经过深入研究的问题分开的原因。噪声不可避免的问题更加普遍并且得到了更好的研究。