通过制定可全局优化的成本函数来解决问题的优势

这是一个相当普遍的问题（即不一定特定于统计），但是我注意到机器学习和统计文献中的一种趋势，作者更喜欢采用以下方法：

方法1：通过制定可能（例如从计算的角度来看）找到全局最优解决方案的成本函数（例如通过制定凸成本函数）来获得对实际问题的解决方案。

而不是：

方法2：通过公式化成本函数来获得相同问题的解决方案，而对于该函数，我们可能无法获得全局最优解（例如，我们只能为其获得局部最优解）。

请注意，严格地说，这两个问题是不同的。假设我们可以为第一个找到全局最优解，而第二个找不到。

除了其他考虑因素（例如速度，易于实施等），我正在寻找：

对这种趋势的解释（例如数学或历史论证）
解决实际问题时，采用方法1而不是方法2带来的收益（实际和/或理论上）。

optimization function

— 阿梅里奥·巴斯克斯·雷纳（Amelio Vazquez-Reina）
source

Answers:

我认为目标应该是优化您感兴趣的功能。如果那恰好是错误分类的数量（而不是二项式的可能性），那么您应该尝试最小化错误分类的数量。但是，由于提到的许多实际原因（速度，实现，不稳定等），这可能不是那么容易，甚至是不可能的。在这种情况下，我们选择近似解。

我基本上知道两种近似策略；我们要么提出尝试直接近似原始问题解的算法，要么将原始问题重新制定为更直接可解决的问题（例如凸松弛）。

一个数学的偏爱一种方法比另一种说法是，我们能否理解）解决方案的性能实际计算和b）解决方案如何接近我们真正感兴趣的问题的解决方案。

我知道统计中的许多结果，在这些结果中，我们可以证明优化问题解决方案的性质。对我而言，分析算法的解决方案似乎更加困难，因为您对算法的计算没有数学公式（例如，它解决了给定的优化问题）。我当然不会声称您不能这样做，但是如果您可以对计算内容给出清晰的数学公式，这似乎是理论上的好处。

对于我来说，目前尚不清楚，这种数学论证是否给方法1带来了比方法2更大的实际好处。肯定有一些人不惧怕非凸损失函数。

— NRH
source

感谢您引用Yann LeCun的演讲。我期待着观看。

— Amelio Vazquez-Reina

@NRH提供了这个问题的答案（5年前），所以我只提供方法3，该方法结合了方法1和2。

方法3：

制定并解决全局最优问题，即凸出的问题，或者无论如何都是全局可优化的（不一定是凸出的）问题，它与您真正要解决的问题“接近”。
将步骤1中的全局最优解决方案用作您真正要解决的非凸优化问题的开始（初始）解决方案（或者比步骤1中解决的问题要解决的更多）。相对于解决您真正想解决的非凸优化问题所采用的解决方法，希望您的解决方案处于全局最优的“吸引区域”。

— 马克·L·斯通
source

请提供一个具体的例子。

— horaceT

这不是Mark的情况，但是在许多计算机视觉问题中，一种通用的方法是使用渐进的非凸性来获得有关问题的一系列“良好”局部最优值。一个具体的例子是从粗到细的光流，其中对于一对图像，使用粗尺度的对齐方式在更细的尺度上播种搜索，并移动通过一对图像金字塔。

— GeoMatt22 '16

@horaceT假设您要解决非线性最小二乘问题

y

$y$ 〜

a e^{b x}

$ae^{bx}$ ，这是非凸的。在步骤1中，您可以解决线性最小二乘问题

y

$y$ 〜

a a + b b x

$aa + bb x$ ，这是凸的，可以解决全局最优性。然后在步骤2中使用

a = e^{a a_{o p t i m a l}}, b = b b_{o p t i m a l}

$a = e^{aa_{optimal}}, b = bb_{optimal}$ 作为非线性最小二乘法的起始值。问题相似，但对错误的处理不同。有许多问题需要非凸罚分（对于步骤2），但可以用步骤1的凸罚分代替。许多迭代也是可能的。

— Mark L. Stone，

@ GeoMatt22您所描述的内容在本质上相似，并且与所谓的同伦方法重叠，其中，通过解决一系列诸如参数之类的问题，可以找到解决您真正想要解决的问题的途径约束范围逐渐改变，解决了连续出现的问题，第一个问题很容易从头解决。确实可能是第一个问题是凸的，或者可以解决的，但后面的问题可能不是，即使它们的最佳解决方案在参数中可能是连续的。

— 马克·L·斯通