压缩感测的类似物

$x \in \mathbb{R}^n$$\|x\|_0 < k$$Ax$- [R Ñ ř « Ñ 甲$A$$R$$n$$R \ll n$$A$$k$-稀疏$x$且$R$小至$O(k n^{o(1)})$。我可能没有最知名的参数，但这是一般的想法。

我的问题是：在其他情况下是否也有类似现象？我的意思是，根据复杂度的度量（不一定是稀疏性），输入信号可能来自某个“低复杂度族”。然后，我们需要高效且正确的压缩和解压缩算法（不一定是线性映射）。这样的结果在不同的情况下已知吗？您对压缩感测的“一般”理论有何看法？

（当然，在压缩感测的应用中，线性和稀疏性是重要的问题。我在这里提出的问题更多是“哲学的”。）

您的问题解决了“精确”恢复问题（我们要恢复恰好给定Ax的k稀疏x）。在下文中，虽然我将专注于“稳健”的版本，其中X是任意向量和恢复算法的目标是找到一个ķ -sparse近似X”到X（这种区别实际上是下面的一些讨论的事项）。形式上，您想关注以下问题（称为P_1）：$x$$Ax$$x$$k$$x'$$x$$P_1$

设计$A$，使得对于任何$x$都可以恢复$x'$，其中 $\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$，其中$x"$覆盖所有$k$稀疏向量。

在这里， $\| \cdot \|_L$和 $\| \cdot \|_R$表示左右范数， $C$是“近似因子”。\ |有多种选择 \ cdot \ | _L$\| \cdot \|_L$和 $\| \cdot \|_R$。具体来说，可以认为两者都等于\ ell_2$\ell_2$或$\ell_1$；它会变得更加混乱。

现在介绍一些类似物和概括。

任意依据。首先，观察到满足上述定义的任何方案都可以用来解决更普遍的问题，其中恢复信号在任意基础上都是稀疏的（例如，傅立叶小波），而不仅仅是标准的。令为基础矩阵。形式上，如果，则向量在基数为稀疏，其中为稀疏。现在我们可以考虑广义问题（称为）：$x'$$B$$u$$k$$B$$u=Bv$$v$$k$$P_B$

设计，使给定，可以恢复，其中$A_B$$A_B x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$，其中 覆盖所有稀疏向量 。$x"$$k$$B$

通过改变基础，即使用测量矩阵，可以将此问题简化为较早的问题。如果我们对规范中的有一个解决方案（即，左右规范等于），那么我们也对规范中的有一个解决方案。如果使用其他规范，我们将在通过更改基础而修改的那些规范中求解。$P_1$$A_B = A B^{-1}$$P_1$$\ell_2$$\ell_2$$P_B$$\ell_2$$P_1$$P_B$

上面的一个警告是，在上述方法中，我们需要知道矩阵才能定义。也许令人惊讶的是，如果我们允许随机化（不是固定的而是随机选择的），则有可能从独立于的固定分布中选择。这就是所谓的普遍性。$B$$A_B$$A_B$$A_B$$B$

字典。可以通过删除是基础的要求来获得下一个概括。相反，我们可以允许行多于列。这样的矩阵称为（超完备）字典。一个流行的例子是在傅立叶矩阵之上的单位矩阵。另一个例子是矩阵，其中行是{1 ... n}中所有间隔的特征向量；在这种情况下，集合{ }包含所有“ -histograms”，即{1 ... n}上的分段常数函数，最多。$B$$B$$Bu: \mbox{u is k-sparse}$$k$$k$

据我所知，尽管有很多关于此主题的工作，但对于此类任意字典还没有通用的理论。参见例如 Candes-Eldar-Needell'10或 Donoho-Elad-Temlyakov，IEEE信息理论交易，2004年。

在流媒体和数据库文献中，例如STOC 2002的Gilbert-Guha-Indyk-Kotidis-Muthukrishnan-Strauss或 SIGMOD 2002的Thaper-Guha-Indyk-Koudas，对直方图的绘制进行了广泛的研究 。

楷模。（也由Arnab提到）。另一种概括是引入对稀疏模式的限制。令为{1 ... n} 的个子集的子集。我们说是 -sparse如果支持被包含在一个元素。现在，我们可以提出问题了（称之为）：$M$$k$$u$$M$$u$$M$$P_M$

设计，使得对于任何都可以恢复，其中$A$$x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$，其中覆盖所有稀疏向量。$x"$$M$

例如，的元素可以采用，其中每个对应于某个长度的{1 ... n}的一个“子块” ，即为形式{JB + 1 ...（J + 1）b}为一些。这就是所谓的“块稀疏性”模型。 $M$$I_1 \cup \ldots \cup I_k$$I_i$$b$$I_i$$j$

与普通的稀疏方法相比，模型的优点是可以节省测量数量。这是因为稀疏信号的空间小于所有稀疏信号的空间，因此矩阵需要保留较少的信息。有关更多信息，请参见 Baraniuk-Cevher-Duarte-Hegde，IEEE信息理论交易，2010或 Eldar-Mishali，IEEE信息理论交易，2009。$k$$M$$k$$A$

希望这可以帮助。

压缩感测可以推广到称为矩阵完成的非交换设置。在精确的设置下，将为您提供一个未知的矩阵，该矩阵的稀疏度为，而不是稀疏性。你的目标是重构通过仅采样该矩阵的奇异值和奇异向量的矩阵的系数，而不是在最坏的情况下必需的。 中号ř « 米，Ñ - [R 〜ø（ř 米+ - [R Ñ ）ø （米Ñ $m \times n$$M$$r \ll m,n$$r$$\tilde{O}(rm+rn)$$O(mn)$

如果奇异矢量与对矩阵元素进行采样的基础足够“不相干”（大约不完全对齐），则可以通过求解类似于标准压缩感测的凸程序来成功实现。在这种情况下，您必须最小化Schatten 1范数，即奇异值的总和。

这个问题也有许多应用，例如，通过仅了解其他客户所产生的少数几个评级，就可以向在线书店的客户提供图书推荐。在这种情况下，的行和列分别由帐簿和客户标记。可见的几个矩阵元素是他们先前购买的图书的客户评价。矩阵排名较低，因为我们认为通常只有少数几个主要因素会影响我们的偏好。通过完成，卖方可以对您可能想要的书籍进行准确的预测。M $M$$M$$M$

Candés和Recht撰写的这篇文章是一个很好的开始，它是通过凸优化实现精确矩阵补全的。还有一个非常酷的概括，您可以在任意基础上对矩阵空间进行采样。大卫·格罗斯（David Gross）撰写的这篇论文，从任何系数的任何基础上恢复低阶矩阵，都使用这种归纳法大大简化了矩阵完成的证明，对于某些基础，您也可以删除不相干假设。该论文还包含了迄今为止采样复杂度的最佳界限。随意采样可能听起来很奇怪，但实际上在量子力学的环境中是很自然的，例如参见本文“ 通过压缩传感的量子状态层析成像”。

存在基于流形的压缩感测，其中稀疏条件被数据位于信号自然空间的低维子流形上的条件所代替。请注意，稀疏可以表述为位于特定流形上（实际上是割线变种）。

例如，参见本文及其引言中的参考文献。（我承认，我不知道本文是否可以代表该领域，我更熟悉基于流形的分类器la Niyogi-Smale-Weinberger的相关主题。）

我想，在我提出这个问题的一般性层面上，Trevisan，Vadhan和Zuckerman（2004）发表的论文“可压缩资源的压缩”也可以作为一种答案。他们表明，在许多情况下，如果输入字符串的源复杂度较低（例如，可被logspace机器简化），则可以在多项式时间内进行压缩和解压缩，以使加成常数远离源的熵。

我真的不知道是否可以将压缩感测纳入更大的压缩理论中。

当您尝试从很小的样本量中估计高维权重向量（例如，分类/回归）时，机器学习就是压缩感测的一种类似形式。为了在这种情况下处理线性方程组的欠定系统，通常会在要学习的权重向量上施加稀疏性（通过10或11罚分）。要查看连接，请考虑机器学习中的以下分类/回归问题：

将N个D维维的每个实例（D >> N）表示为NxD矩阵X。将N个响应（每个示例一个）表示为Nx1向量Y。目标是通过以下方程式求解Dx1向量θ ：Y = X * theta

现在，这是类似于压缩感知（CS）的问题：您想估计/测量D维向量的theta（类似于CS中的未知“信号”）。要对此进行估算，可以使用矩阵X（与CS中的设计矩阵相似）和N个一维测量Y（与D中的D >> N相似，与CS中的压缩信号相似）。

参见：http : //www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS43.pdf