严格来说，“随机投影”不是投影吗？

10

随机投影算法的当前实现方式是使用投影矩阵将数据样本从映射到从而降低了数据样本的维数，该矩阵的条目来自适当的分布（例如来自）： $\mathbb R^d$ $\mathbb R^k$ $d\times k$ $R$ $\mathcal N(0,1)$

$x^\prime = \frac{1}{\sqrt k}xR$

方便地，存在理论证明，表明该映射近似保留了成对的距离。

但是，最近我发现了这些注释，其中作者声称该单词与严格矩阵的线性代数意义上的投影并不是严格意义上的投影（第6页）。根据此处给出的说明，这是因为当的列从中独立选择时，它们的列并非严格正交。因此，可以将强制执行列的正交性的RP的早期版本视为投影。 $R$ $\mathcal N(0,1)$ $R$

您能否提供以下更详细的解释：（1）从严格意义上讲，投影的定义是什么；（2）为什么在这种定义下RP不是投影？

— 丹尼尔·洛佩斯（DanielLópez）
source

1

您可以通过搜索我们的网站找到（1）的答案。断言（2）是快速，因为如果列人总是正交的，他们的作品不可能是独立的。

— whuber

4

在这个严格的（线性代数）意义上（单词），投影的定义是什么？

https://zh.wikipedia.org/wiki/Projection_(linear_algebra）

线性代数和功能分析，一个突出部是线性变换从一个向量空间本身，使得。就是说，每当对任意值两次应用时，其结果都与一次应用（幂等）相同。 $P$ $P^2 = P$ $P$

对于正交投影或矢量投影，您可以

https://zh.wikipedia.org/wiki/Projection_(linear_algebra）

正交投影是范围U和零空间V是正交子空间的投影。
为什么RP在这个定义下不是投影？

Michael Mahoney在您的演讲中写道，这取决于RP的构造方式，即RP是否为传统线性代数意义上的投影。他在第三点和第四点中这样做：

第三，如果随机向量正好是正交的（就像它们在原始JL结构中一样），那么我们将认为JL投影是正交投影

...

但是，尽管这对于高斯，随机变量以及大多数其他构造都是错误的，但可以证明所得矢量近似为单位长度且近似正交 $\lbrace \pm \rbrace$

...

这“足够好”。

因此，原则上您可以使用受限于正交矩阵（尽管不需要）的其他结构来进行随机投影。例如查看原始作品：

约翰逊（Johnson），威廉（William B.）和乔拉姆（Joram Lindenstrauss）。“ Lipschitz映射到希尔伯特空间的扩展。” 当代数学26.189-206（1984）：1。

...如果随机选择上的秩正交投影 $k$ $l_2^n$

...

为了使这个精确，我们让是投射到第一的坐标和让被归一化Haar测度在正交组。然后由定义的随机变量确定“随机秩投影” 的概念。 $Q$ $k$ $l_2^n$ $\sigma$ $O(n)$ $l_2^n$
$f : (O (n), σ) \to L (l_{2}^{n})$ $f: (O(n), \sigma) \to L(l_2^n)$ $f (u) = U^{⋆} Q U$ $f(u) = U^\star Q U$ $k$

维基百科条目以这种方式描述了随机投影（第10和11页的讲义中也提到了随机投影）

https://zh.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

第一行是从统一选择的随机单位向量。第二行是来自与第一行正交的空间的随机单位矢量，第三行是来自与前两行正交的空间的随机单位矢量，依此类推。 $S^{d − 1}$

但是，当您以正态分布对矩阵随机变量和自变量进行所有矩阵输入时，通常不会得到这种正交性（正如Whuber在他的评论中提到的那样，结果很简单：“如果列始终正交，则它们的条目可以不独立”）。

在正交列的情况下，矩阵和乘积可以看作是投影，因为它与投影矩阵。这与将普通最小二乘回归视为投影有点相同。乘积不是投影，但它为您提供了不同基矢量的坐标。'真正的'投影是，和投影矩阵是。 $R$ $P = R^TR$ $b = R^T x$ $x' = Rb = R^TRx$ $R^TR$

投影矩阵 $P=R^TR$ 必须是子空间上的恒等运算符，子空间 $U$ 是投影的范围（请参阅维基百科页面上提到的属性）。或换句话说，它需要具有特征值1和0，以使其为单位矩阵的子空间是与特征值1相关联的特征向量的范围。对于随机矩阵项，您将不会获得此属性。这是讲义中的第二点

...它“看起来像”在许多方面的正交矩阵...的 $range(P^T P)$ 是均匀分布的子空间...但特征值不在 $\lbrace 0, 1 \rbrace$ 。

^{注意，在此引用的矩阵涉及矩阵中的问题，而不是投影矩阵由所述基质暗示 $P$ $R$ $P = R^TR$ $R$}

因此，通过不同构造（例如在矩阵中使用随机条目）进行的随机投影并不完全等于正交投影。但这在计算上更简单，而且据迈克尔·马奥尼（Michael Mahoney）称，它“足够好”。

— 天性
source

1

感谢您的回答，我认为它的方向与我上面给出的方向相同。只是为了澄清，我认为你应该表明，

。然后，当你解释，如果条目

从IID

，我们不能确保

或

具有在本征值

。相反，如果

的列

P = R R^{T}

$P = RR^T$

R \in R^{d \times k}

$R\in\mathbb R^{d\times k}$

N (0, 1)

$\mathcal N(0,1)$

P^{2} = P

$P^2 = P$

P

$P$

{0, 1}

$\{0,1\}$

R

$R$ 是正交的，两个条件都满足。但是关键是要指出投影是

，而不是

！

R R^{T}

$RR^T$

R

$R$

— DanielLópez'18

1

@DanielLópez我已更新它。

— Sextus Empiricus

6

是的：严格地说，“随机投影”不是投影。

投影一个被明确定义的数学对象：https://en.wikipedia.org/wiki/Projection_(linear_algebra） -它是一个线性idempotentent操作者，即，线性算子 $P$ ，使得 $P^2 = P$ 。两次应用投影与仅应用一次相同，因为在子空间上投影一个点之后，如果再次投影，它应该只呆在那里。在这个定义中没有关于正交性的东西。实际上，投影可以是倾斜的（请参阅Wikipedia）。

注意，在这种意义上，只有正方形矩阵可以表示“投影”。“随机投影”使用随机 $d\times k$ 矩阵 $R$ 与 $k\ll d$ ，所以它不可能是在上述定义的意义上的突出部。

即使您使 $R$ 的列正交（例如，通过应用Gram-Schmidt过程），该参数仍然适用。最近有人问到有关PCA的问题：在PCA的背景下，究竟应将什么称为“投影矩阵”？- 严格来说，正交特征向量的 $d\times k$ 矩阵 $U$ 也不是投影。

— 阿米巴
source

3

在最后一段中，您说如果列是正交的，那么从线性代数的投影意义上来说，投影仍然不是投影。但是，这仅仅是因为矩阵不是方矩阵。这更多是由于符号而不是原则。如果将矩阵扩展为零，则矩阵是线性投影。

— Sextus Empiricus

1

@MartijnWeterings不，我不这么认为。取2D空间和1x2的U，如下所示：[sqrt（2）/ 2，sqrt（2）/ 2]（对应于对角线上的投影）。现在将其扩展为零。它不会等于自己的平方。

— amoeba

1

应该以其他方式扩展它，可以做到

— kjetil b halvorsen

2

@amoeba，我同意它正在扩展概念/定义，但是我要说的是，它比

更细微，

包含不等于

逆项。由正交向量组成的线性组合

确实类似于在较小子空间上的正交投影，您可以重复该投影而得到相同的结果。只是与投影一起选择了一组不同的基向量（至少这是一个可以看到它的方式），矩阵表示并不像

那样工作，而是在几何上看起来像投影。

R (R^{T} R)^{- 1} R^{T}

$R (R^TR)^{-1}R^T$

I

$I$

U

$U$

P^{2} = P

$P^2=P$

— Sextus Empiricus

2

没错，@ MartijnWeterings，但是为什么具有非正交列的任何

都不“看起来像” 倾斜投影？

R

$R$

— amoeba

1

我认为这里的关键是将 $d\times k$ RP矩阵 $R$ 的列空间视为我们对其进行投影的子空间。一般情况下，无论的列是否 $R$ 是正交的，一个可以投影的样品 $x\in \mathbb R^d$ 上的列空间 $R$ 尤斯下面的等式[1]：

$p = xR(R^TR)^{-1}R^T$ ，其中 $p\in\mathbb R^d$ 。

如果如在旧版本或RP矩阵的列 $R$ 被限制为正交，然后 $R^TR = I\in \mathbb R^{k\times k}$ ，因此投影 $x$ 上的列空间 $R$ 变为：

$p = xRR^T$ ，与 $p\in\mathbb R^d$ ，

和 $RR^T\in\mathbb R^{d\times d}$ 变为投影矩阵，因为它的平方和 $(RR^T)^2=RR^TRR^T=RR^T$ 。

也许声称随机投影的旧版本（是的列 $R$ 为正交）事实上是一个投影是指这样的事实：在这种情况下，嵌入至 $\mathbb R^k$ 和后重建回到 $\mathbb R^d$ 的样品的 $x\in\mathbb R^d$ 由下式给出 $xRR^T$ 确实是一个投影到的列空间 $R$ ，和 $RR^T$ 是一个投影矩阵。

如果您能在这里确认/纠正我的推理，将不胜感激。

参考：

[1] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projections.pdf

— 丹尼尔·洛佩斯（DanielLópez）
source

1

没错，但是对于任何R，您在第一个公式中使用的矩阵

也是一个投影。因此，我认为R列的正交性与您在上一段中给出的参数无关紧要。

R (R^{T} R)^{- 1} R^{T}

$R(R^T R)^{-1} R^T$

— amoeba

1

没错，但我的观点是，也许您希望

成为投影矩阵，因为它与降维中的自然嵌入和重构逻辑相匹配。同样，以这种方式，

的列形成子空间（R的列空间）的正交基础。我将与注释作者联系，以查看它们是否可以对此有所启发。感谢您的回答！

R R^{T}

$RR^T$

R

$R$

— 丹尼尔·洛佩斯

2

@amoeba矩阵

确实是一个投影为好，但在随机投影未使用

一部分，而是

。当你有正交列那么这个伪逆部分等于矩阵

。您可能会发现它类似于关于OLS的计算

R (R^{T} R)^{- 1} R^{T}

$R(R^TR)^{-1}R^T$

(R^{T} R)^{- 1} R^{T}

$(R^TR)^{-1}R^T$

R^{T}

$R^T$

R^{T}

$R^T$

β = (R^{T} R)^{- 1} R^{T} y

$\beta=(R^TR)^{-1}R^Ty$ 作为投影，但是系数

不是投影。OLS是严格只有一个突起，当你计算

。仍然可以将

视为不同基础上的预测。它比数学更像是语义事物。

β

$\beta$

\hat{y} = R (R^{T} R)^{- 1} R^{T} y

$\hat{y}=R(R^TR)^{-1}R^Ty$

β

$\beta$

— Sextus Empiricus

-1

如果在Fast Walsh Hadamard变换之前使用可计算的随机符号翻转或置换，则随机投影是正交的。

— 肖恩·奥康纳
source