最小绝对偏差之和（

15

我有一个数据集并且想要找到参数，以使其最小化和那是 $x_{1}, x_{2}, \ldots, x_{k}$ $m$

\sum_{i = 1}^{k} | m - x_{i} | .

$\sum_{i=1}^{k}\big|m-x_i\big|.$

min_{m} \sum_{i = 1}^{k} | m - x_{i} | .

$\min_{m}\sum_{i=1}^{k}\big|m-x_i\big|.$

optimization convex-optimization

— Mayenew
source

2

您能详细说明一下吗？

— Geoff Oxberry 2012年

在那种情况下，解决方案难道不是最大值和最小值之间的中点吗？

— 保罗

@Paul中位数可能会使总和最小化，但想知道如何通过分析来完成，尤其是l1最小化

— mayenew 2012年

@kadu是正确的，中位数是解决方案。分析计算中位数是微不足道的。排序然后取中间值。

— David Ketcheson，2012年

22

可能您要求证明中位数可以解决问题？好吧，可以这样做：

物镜是分段线性的，因此除点。某点物镜的斜率是多少？那么，斜率是映射的斜坡和这是（对于）或（对于）。因此，斜率表示有多少个小于 $m=x_i$ $m\neq x_i$ $m\mapsto |m-x_j|$ $+1$ $m>x_j$ $-1$ $m<x_j$ $x_i$ $m$ 。你看到的斜率是零，如果有一样多的更小和大于（对于和偶数的）。如果有奇数个的则斜率是留下了‘middlest’之一和的是正确的，因此middlest一个是最小。 $x_i$ $m$ $x_i$ $x_i$ $-1$ $+1$

— 短剑
source

16

将该问题推广到多个维度，称为几何中值问题。正如David指出的那样，中位数是一维情况的解决方案。在那里，您可以使用中位数查找选择算法，该算法比排序更有效。排序为而选择算法为 ; 仅当需要多个选择时，排序才更有效率，在这种情况下，您可以（昂贵）排序一次，然后从排序列表中重复选择。 $O(n\log n)$ $O(n)$

几何中位数问题的链接提到了多维案例的解决方案。

— 杰夫·奥克斯伯里
source

6

就中位数而言，显式解决方案是正确的，但是响应mayenew的评论，这是另一种方法。

$\ell^1$

以下LP公式适用于未知的给定运动 $z_i,m$

米 一世 ñ \sum ž_{一世}

$min \sum z_i$

ž_{一世} \geq 米 - X_{一世}

$z_i \ge m - x_i$

ž_{一世} \geq X_{一世} - 米

$z_i \ge x_i - m$

明显地 $z_i$ 必须相等 $|x_i - m|$ 因此，这要求将误差的绝对值之和最小化。

— 坚硬
source

2

证明这一点的过分凸分析方法只是取次梯度。实际上，这等效于其他一些涉及斜率的答案中使用的推理。

优化问题是凸的（因为目标是凸的并且没有约束。）而且， $\left|m-x_i\right|$ 是

-1如果 $m<x_i$

[-1,1]如果 $m=x_i$

+1，如果 $m>x_i$ 。

Since a convex function is minimized if and only if it's subgradient contains zero, and the subgradient of a sum of convex functions is the (set) sum of the subgradients, you get that 0 is in the subgradient if and only if $m$ is the median of $x_1,\ldots x_k$ .

— cjordan1
source

0

We're basically after:

\arg min_{m} \sum_{i = 1}^{N} | m - x_{i} |

$\arg \min_{m} \sum_{i = 1}^{N} \left| m - {x}_{i} \right|$

One should notice that $\frac{\mathrm{d} \left | x \right | }{\mathrm{d} x} = \operatorname{sign} \left( x \right)$ (Being more rigorous would say it is a Sub Gradient of the non smooth ${L}_{1}$ Norm function).
Hence, deriving the sum above yields $\sum_{i = 1}^{N} \operatorname{sign} \left( m - {x}_{i} \right)$ .
This equals to zero only when the number of positive items equals the number of negative which happens when $m = \operatorname{median} \left\{ {x}_{1}, {x}_{2}, \cdots, {x}_{N} \right\}$ .

One should notice that the median of a discrete group is not uniquely defined.
Moreover, it is not necessarily an item within the group.

— Royi
source