在普通最小二乘法中，底部的双杠和2是什么意思？

我看到这个符号对于普通最小二乘这里。

min_{w} {‖ X w - y ‖}_{2}^{2}

$\min_w \left\| Xw - y \right\|^2_2$

我从未见过双杠和底部的2。这些符号是什么意思？他们有针对他们的特定术语吗？

— Aseem Bansal
source

双杠的使用仅表示我们正在使用L2范数。

— Michael R. Chernick

@MichaelChernick和2？那是“ L2规范”的一部分吗？

— Aseem Bansal'17年

是的，像L2一样，也有L1。

— 乔恩（Jon）

我认为

X_{w}

$X_w$ 应该是

X w

$Xw$ 因为

w

$w$ 是向量

— ilanman

@ilanman是的，这就是编辑之前的表示法。我改了回来

— Aseem邦萨尔

您正在谈论向量（）的 $\ell_2$ -norm（欧几里德范数）。简而言之，如果这对您而言陌生，则向量的范数为： $Xw - y$ $\ell_p$ $u \in \mathbb{R}^{n}$

‖ u ‖_{p} = (\sum_{i = 1}^{n} | u_{i} |^{p})^{\frac{1}{p}}

$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p}$

因此，在您的情况下与线性回归的残差平方和之和一致。在回归问题的背景下，您还会在均方误差（MSE）计算和岭回归中看到很多。 $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$

这是一个常见的规范（在其他原因上，从数学上讲它很方便），因此从上下文中显而易见时，您会看到省略了下面的，而只是。 $2$ $\|u\|^2$

如评论中所述，您可能还会看到 -norm： $\ell_1$

‖ u ‖_{1} = \sum_{i = 1}^{n} | u_{i} |

$\|u\|_1 = \sum_{i=1}^{n} |u_i|$

对应于绝对值。同样，您将在平均绝对误差（MAE）或套索问题中看到这一点。

其他流行规范：

-norm：汉明距离，即向量中非零的数量，即计算向量的稀疏性时的距离。从技术上讲，这不是规范（它是基数函数），因为您在定义中使用术语，但是它具有规范的形式，因此我们将其称为。
- 因为我们确实想将系数归零，所以该范数是诱导稀疏性用于回归问题的理想范数，但是计算正则化是NP难的，因此我们可以通过对其进行近似，通过线性编程可以解决该问题。它在压缩传感中也很流行。 $\ell_0$ $\ell_1$
$\ell_{\infty}$ -norm：=对于 $\underset{i} {\text{max}}$ $\{|x_i|\}$ $i = 1, ..., n$
$\|A\|_F$ ：Frobenius（欧几里得）范数，应用于矩阵 $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$

— 伊兰曼
source

Wolfram alpha的链接确实很有帮助。

— Aseem Bansal'1

你写的是于零的（伪）模数数的载体，你或许意味着数非 -Zero项？（这将与我所看到的更加一致，也意味着是和之间的汉明距离，而不是减去距离。）

ℓ_{0}

$\ell_0$

‖ u ‖_{0}

$\lVert u \rVert_{0}$

u

$u$

0 \in R^{n}

$0 \in \mathbb R^n$

n

$n$

— wchargin

拼写错误：“ Frobenius”。

— hobbs

— 与其说