什么是规范和他们如何相关的正规化？

我最近看到了很多有关稀疏表示的论文，其中大多数使用规范并进行了一些最小化。我的问题是，规范和混合规范是什么？它们与正则化有何关系？ $\ell_p$ $\ell_p$ $\ell_{p, q}$

谢谢

machine-learning regularization sparse

— 水
source

$\ell_p$ 范数是采用向量并返回非负数的函数。它们定义为在的情况下，这是称为欧几里得范数您可以将欧几里得距离定义为。当，这仅表示（或）。严格来说，成为范数，必须至少为。如果，则

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$ 并不是真正的规范，因为规范必须满足三角形不等式。

（除了函数而不是向量或序列以外，还有类似定义的规范-实际上这是同一回事，因为向量是具有有限域的函数。） $L_p$

我不知道在的机器学习应用程序中规范的任何用途，除非。通常您会看到或，或者有时是，您想放宽情况。在不是严格凸的，但是是。在某些情况下，这可以使找到解决方案“更加轻松”。 $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

在正规化的情况下，如果添加你的目标函数，你的意思是，你希望是稀疏的，也就是说，大多是零的组成。这有点技术性，但是基本上，如果有一个密集的解决方案，那么可能会有一个具有相同规范的稀疏解决方案。如果您希望解决方案比较密集，则可以将到目标中，因为这样可以更轻松地使用其派生。两者的目的都是为了防止溶液过重。 $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

当您尝试整合多个资源时，就会出现混合规范。基本上，您希望解向量由几部分，其中是某个源的索引。所述规范仅仅是的所有的范数 -norms收集在载体中。即 $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

这样的目的不是要“过度分配”一组解决方案，例如使用。各个部分都很稀疏，但是您不必冒所有解决方案的范数影响整个解决方案向量的风险。因此，您可以在外部使用 -norm。 $\|\vec x\|_{1,2}$ $1$ $2$

希望能有所帮助。

有关更多详细信息，请参见本文。

— 约瑟芬·穆勒（Josephine Moeller）
source

+1用于解释混合规范。我自己从来不了解他们。

— Suresh Venkatasubramanian 2012年

（+1）个好答案。欢迎来到CrossValidated，约翰！

— MånsT