启发式优化

既然是星期五，是时候问CW了。我正在寻找在优化问题中广泛使用的启发式方法。为了将范围限制为更“理论友好”的启发式方法，以下是规则（有些是任意的，有些不是）

• 它应该是定义明确的方法，没有大量参数，并且具有具体的运行时间（可能是每次迭代）
• 它应该具有一些与之相关的已知理论结果（收敛速度，近似边界（如有），平稳性质等）
• 它应该具有广泛的适用性，并且至少是一种旗舰应用程序，无论是选择方法还是其中几种方法之一。
• 它不应该受到大自然的启发（尽管这似乎是轻率的反对，但我试图排除遗传算法，蚁群优化等）。

理想情况下，答案应采用以下格式：这是一个示例。

名称：交替优化

目标：最小化（通常是非凸的）函数$f(x,y)$

条件：相关功能$g(x) = \min_y f(x,y)$ 和 $h(y) = \min_x f(x,y)$ 是凸的

算法：$i^{\text{th}}$ 迭代开始于 $x_i, y_i$。

1. $x_{i+1} \leftarrow \arg \min_x f(x, y_i)$
2. $y_{i+1} \leftarrow \arg\min_y f(x_{i+1}, y)$

最知名的应用程序：$k$-表示，迭代最接近的对。

理论：关于的已知结果$k$-手段，框架全局最优的一般充分条件

ps：您可能会发现您的答案最终成为了我正在计划的算法研讨会的演讲：)

名称：迭代的加权最小二乘法
目标：最小化表格的功能$\sum w(\theta)F(\theta)^2$， $\theta\in R^n$， $F(\theta) \in R^m$， $w(\theta)\in R$
条件：视情况而定
算法：明显-固定权重，解决二次问题，重新计算权重
最著名的应用：几何中位数，M估计器，$L_p$规范，压缩感测
理论：逐案证明