随机矩阵的稀疏诱导正则化

10

众所周知（例如在压缩感测领域），范数是“稀疏诱导的”，即如果我们最小化函数（对于固定矩阵和向量）为足够大的，我们很可能为很多选择， $L_1$ $A$ $\vec{b}$

f_{A, \vec{b}} (\vec{x}) = ‖ A \vec{x} - \vec{b} ‖_{2}^{2} + λ ‖ \vec{x} ‖_{1}

$f_{A,\vec{b}}(\vec{x})=\|A\vec{x}-\vec{b}\|_2^2+\lambda\|\vec{x}\|_1$

λ > 0

$\lambda>0$

A

$A$

\vec{b}

$\vec{b}$ ，和

在结果

具有许多完全为零的条目。

λ

$\lambda$

\vec{x}

$\vec{x}$

但是，如果我们最小化受该的条目的状态为正，而总和到，然后将术语不具有任何影响（因为通过法令）。在这种情况下，是否存在一个类似的型正则化可以起作用，以鼓励生成的稀疏？ $f_{A,\vec{b}}$ $\vec{x}$ $1$ $L_1$ $\|\vec{x}\|_1=1$ $L_1$ $\vec{x}$

— 贾斯汀·所罗门
source

您能否详细说明“然后

项没有任何作用（因为按法令

）”？

L_{1}

$L_1$

| | x | |_{1} = 1

$||x||_1 = 1$

— Cam.Davidson.Pilon，2012年

2

@ Cam.Davidson.Pilon：

和

意味着

。:)

x_{i} \geq 0

$x_i \geq 0$

\sum_{i} x_{i} = 1

$\sum_i x_i = 1$

‖ x ‖_{1} = 1

$\|x\|_1 = 1$

— 主教

1

贾斯汀：更多细节可能会给一个更好的机会，一个有用的答案。阅读您的描述后，立即会出现一些问题：（1）所有这些中的“随机矩阵”在哪里？您似乎只描述了一种涉及随机向量的情况。这些可能只是随机矩阵的各个行，或者一旦出现更多详细信息，其他结构可能就会变得明显。（2）您是否希望概率本身是稀疏的，或者是在某个适当的基础上稀疏？如果是第一个，为什么？（这是在加权（稀疏）图上随机走动吗？）

— 主教

为什么要求中的条目

是积极的？您是否应该要求它们是非负数？另外，您是否考虑过重新参数化以消除约束（假设您的意思是非负数）？换句话说，尝试

\vec{x}

$\vec x$

x_{i} = \frac{\exp (w_{i})}{\sum_{j} \exp (w_{j})}

$x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$

— jrennie 2012年

1

@jrennie：在上下文中，肯定的贾斯汀肯定表示非否定的。

— 主教

2

创建稀疏解的一般方法是通过MAP估计，其中零均值法向先验且方差未知。

p (x_{i} | σ_{i}^{2}) \sim N (0, σ_{i}^{2})

$p(x_i|\sigma_i^2)\sim N(0,\sigma_i^2)$

如果然后分配之前其在零具有模式，则后侧模式通常是稀疏的。的通过取指数混合分布从这种方法中就产生了。 $\sigma_i^2$ $L_1$

p (σ_{i}^{2} | λ) \sim E x p o (\frac{λ^{2}}{2})

$p(\sigma_i^2|\lambda)\sim Expo\left(\frac{\lambda^2}{2}\right)$

然后你得到

\log [p (x_{i} | λ)] = - λ | x_{i} | + \log [\frac{λ}{2}]

$\log[p(x_i|\lambda)]=-\lambda | x_i|+\log\left[\frac{\lambda}{2}\right]$

一些替代方法是广义双pareto，半柯西，倒置beta。从某种意义上说，它们比套索更好，因为它们不会缩小大的值。实际上，我非常确定广义的double pareto可以写为指数混合形式。这是我们写，然后将伽马之前。我们得到： $\lambda=\lambda_i$ $p(\lambda_i|\alpha\beta)$

p (x_{i} | α β) = \frac{α}{2 β} {(1 + \frac{| x_{i} |}{β})}^{- (α + 1)}

$p(x_i|\alpha\beta)=\frac{\alpha}{2\beta}\left(1+\frac{|x_i|}{\beta}\right)^{-(\alpha+1)}$

请注意，我包括了标准化常数，因为它们有助于选择良好的全局参数。现在，如果我们应用范围限制，那么我们将面临一个更复杂的问题，因为我们需要对单纯形进行重新规格化。

稀疏性惩罚的另一个通用特征是它们不可为零。通常，这是因为左右界限的符号相反。

这是基于尼古拉斯·波尔森（Nicolas Polson）和詹姆斯·斯科特（James Scott）关于方差均值混合表示的出色工作，他们用它们来开发TIRLS-将最小二乘法大规模扩展到非常大的损失-惩罚组合。

或者，您可以使用在单纯形上定义的先验，但边际分布中的众数为零。一个例子是所有参数在0到1之间的dirichlet分布。隐含的惩罚看起来像：

- \sum_{i = 1}^{n - 1} (a_{i} - 1) \log (x_{i}) - (a_{n} - 1) \log (1 - \sum_{i = 1}^{n - 1} x_{i})

$-\sum_{i=1}^{n-1}(a_i-1)\log(x_i) - (a_n-1)\log(1-\sum_{i=1}^{n-1}x_i)$

其中。但是，由于惩罚具有奇异性，因此在数字优化方面需要谨慎。一个更可靠的估计过程是使用后验均值。尽管您失去了确切的稀疏性，但您将获得许多接近于零的后验均值。 $0<a_i<1$

— 概率逻辑
source

L_{1}

$L_1$

\log [\frac{x_{i}}{x_{n}}]

$\log\left[\frac{x_i}{x_n}\right]$

x_{n}

$x_n$

1

两种选择：

$L_0$ $\vec x$
$x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$ $\|\vec w\|$

— 珍妮
source

您能否解释一下重新参数化如何促进稀疏性？似乎可以保证完全相反。

— 主教

\vec{w}

$\vec w$

\vec{x}

$\vec x$

是的，我知道。但是，这些值将不会为零。如果从字面上看，OP毫无用处，实际上（在某种意义上）会“受伤”。但是，OP可能会对稀疏性感兴趣，而不是出于某种其他考虑，在这种情况下，这将是其中之一。:)

— 主教

\vec{x}

$\vec x$

w_{i}

$w_i$

- \infty

$-\infty$

1

$L_1$

$\lambda$

$\lambda$ $L_1$

— NRH
source

0

我可以想出三种方法。

贝叶斯方法：引入零均值先验分布，并使用II型似然估计参数和超参数。
$\Vert\cdot\Vert_{\infty}$
$-\sum_{i=1}\log x_i$

实际上，第一和第三种方法是相同的。

— 韩章
source