解决L-无穷范数线性回归的软件包

是否有任何软件包可以解决线性回归问题，以最小化L-无穷大范数。

简短答案：您的问题可以表述为线性程序（LP），让您为任务选择最喜欢的LP解算器。要了解如何将问题写为LP，请继续阅读。

这种最小化问题通常称为Chebyshev逼近。

让，，第行由和表示。然后，我们试图最小化函数相对于。通过表示最佳值 $\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$$\X \in \reals^{n \times p}$$i$$\x_i$$\b \in \reals^p$$f(\b) = \|\y - \X \b\|_\infty$$\b$

$$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$$

将其重铸为LP的关键是以题词形式重写问题。不难说服自己，事实上，

$$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$$

现在，使用函数的定义，我们可以将上面的右侧重写为 因此我们看到在回归设置中最小化范数等于LP 完成优化的地方over，并且表示长度为的向量。对于读者来说，我将其作为（轻松）练习以标准格式重铸上述LP。$f$

$$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $\ell_\infty$ $$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$$ $(\b, t)$$\ones$$n$

关系到线性回归（总变化）版本$\ell_1$

有趣的是，规范可以完成非常相似的操作。令。然后，类似的论点引出一个结论，即 因此对应的LP为 $\ell_1$$g(\b) = \|\y - \X \b \|_1$

$$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$$

注意这里现在是长度为的向量，而不是标量，就像情况一样。$\t$$n$$\ell_\infty$

当然，这两个问题的相似之处以及它们都可以被视为LP的事实并非偶然。这两个规范相互关联，因为它们是彼此的对偶规范。

Malab可以使用cvx做到这一点。获得cvx（免费）：

http://cvxr.com/cvx/download/

在cvx中，您可以这样编写：

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

（请参见手册第12页的示例）

有CVX的Python实现（在此），但命令略有不同...

@cardinal的答案已被很好地陈述并被接受，但是，为了完全关闭该线程，我将提供以下内容：IMSL数值库包含用于执行L-无穷范数回归的例程。该例程在Fortran，C，Java，C＃和Python中可用。我使用的C和Python版本的方法称为lnorm_regression，它也支持常规的 -norm回归，。$L_p$$p >= 1$

请注意，这些都是商业库，但是Python版本是免费的（例如在啤酒中），用于非商业用途。