PCA优化是否凸出？

主成分分析（PCA）的目标函数是使L2范数中的重构误差最小化（请参阅此处的 2.12节。另一种观点试图使投影的方差最大化。我们在此处也有一篇很不错的文章：PCA的目标函数是什么？）。

我的问题是PCA优化凸出吗？（我在这里找到了一些讨论，但希望有人可以在这里提供有关CV的很好的证明）。

— 海涛都
source

不。您正在最大化凸函数（在约束下）。

— user603

我认为您需要具体说明“ PCA优化”的含义。一个标准制剂是最大化受到。问题在于凸度甚至没有意义：区域是一个球体，而不是欧几里得空间。

x^{'} A x

$x^\prime\mathbb{A}x$

x^{'} x = 1

$x^\prime x=1$

x^{'} x = 1

$x^\prime x=1$

— ub

@whuber感谢您的评论，由于知识有限，我可能无法澄清问题。我可能会等待一些答案，以帮助我同时阐明问题。

— 海涛杜

我将向您介绍您熟悉的“凸”的任何定义。它们是否都涉及位于其他点之间的函数域中的点的概念？值得记住，因为它提醒您考虑函数域的几何形状以及函数值的任何代数或解析属性。因此，我想到可以稍微修改方差最大化公式以使域凸出：只需要而不是。解决方案是相同的-答案很明确。

x^{'} x \leq 1

$x^\prime x\le1$

x^{'} x = 1

$x^\prime x=1$

— ub

不，PCA的通常配方不是凸面问题。 但是它们可以转化为凸优化问题。

洞察力和乐趣在于跟随并形象化转换的顺序，而不仅仅是获得答案：它在于旅程，而不是目的地。此旅程的主要步骤是

获得目标函数的简单表达式。
将其非凸的域扩大为一个。
将非凸面的物镜修改为明显不改变其达到最佳值的点的物镜。

如果密切关注，您会发现SVD和Lagrange乘法器潜伏着-但它们只是一个杂耍，出于风景的考虑，我将不对其进行评论。

PCA的标准方差最大化公式（或至少是其关键步骤）为

\begin{matrix} (*) & Maximize f (x) = x^{'} A x subject to x^{'} x = 1 \end{matrix}

$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$

其中， ×矩阵是根据数据（通常是其平方和乘积和，协方差矩阵或相关矩阵）构造的对称正定矩阵。 $n\times n$ $\mathbb A$

（等效地，我们可以尝试最大化不受约束的目标。这不仅是一个更讨厌的表达式-它不再是二次函数-绘制特殊情况的图形通常也可以观察到该函数在将缩放不变，然后将其为约束公式。 $x^\prime \mathbb{A} x / x^\prime x$ $x\to \lambda x$ $(*)$

任何优化问题都可以抽象表示为

找到至少一个，使函数尽可能大。 $x\in\mathcal{X}$ $f:\mathcal{X}\to\mathbb{R}$

回想一下，当优化问题具有两个单独的属性时，它是凸的：

该域是凸的。 $\mathcal{X}\subset\mathbb{R}^n$ 这可以用很多方式来表述。一种是每当和且，也会。几何上：只要线段的两个端点位于，整个线段就位于。 $x\in\mathcal{X}$ $y\in\mathcal{X}$ $0 \le \lambda \le 1$ $\lambda x + (1-\lambda)y\in\mathcal{X}$ $\mathcal X$ $\mathcal X$
的函数是凸的。 $f$ 这也可以用很多方式来表述。一种是每当和且，（为了使该条件有意义，我们需要使凸出。）几何上：只要是任何线段，的图形（仅限于此线段）就位于上方或在连接段和在。 $x\in\mathcal{X}$ $y\in\mathcal{X}$ $0 \le \lambda \le 1$
$f (λ x + (1 - λ) y) \geq λ f (x) + (1 - λ) f (y) .$ $f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$ $\mathcal X$ $\bar{xy}$ $\mathcal X$ $f$ $(x,f(x))$ $(y,f(y))$ $\mathbb{R}^{n+1}$
凸函数的原型在局部到处都是抛物线，且前导系数为非正数：在任何线段上，都可以用且 $y\to a y^2 + b y + c$ $a \le 0.$

一个难点是是单位球，它肯定不是凸的。 $(*)$ $\mathcal X$ $S^{n-1}\subset\mathbb{R}^n$ 但是，我们可以通过包含较小的向量来修改此问题。这是因为当我们将乘以因子，会乘以。当，我们可以通过将乘以来将缩放到单位长度，从而增加但保持在单位球。 $x$ $\lambda$ $f$ $\lambda^2$ $0 \lt x^\prime x \lt 1$ $x$ $\lambda=1/\sqrt{x^\prime x} \gt 1$ $f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$ 因此，让我们将重新表示为 $(*)$

\begin{matrix} (**) & Maximize f (x) = x^{'} A x subject to x^{'} x \leq 1 \end{matrix}

$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$

它的域是，它显然是凸的，所以我们到了一半。仍然需要考虑的图的凸性。 $\mathcal{X}=D^n$ $f$

考虑问题一个好方法- 即使您不打算执行相应的计算-也是基于谱定理。 $(**)$ 它说，通过正交变换，您可以找到至少一个基础，其中是对角线的：也就是说， $\mathbb P$ $\mathbb{R}^n$ $\mathbb A$

A = P^{'} Σ P

$\mathbb {A = P^\prime \Sigma P}$

所有非对角线条目均为零。这种选择可以被认为完全不改变，而只是改变其描述方式：旋转角度时，函数的水平超曲面的轴（始终是椭圆形）与坐标轴对齐。 $\Sigma$ $\mathbb{P}$ $\mathbb A$ $x\to x^\prime \mathbb{A} x$

由于是正半定的，因此所有对角线项都必须是非负数。 我们可以进一步置换轴（这只是另一个正交变换，因此可以吸收到），以确保 $\mathbb A$ $\Sigma$ $\mathbb P$

σ_{1} \geq σ_{2} \geq \dots \geq σ_{n} \geq 0.

$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$

如果我们让为新坐标（需要），则函数为 $x=\mathbb{P}^\prime y$ $x$ $y=\mathbb{P}x$ $f$

f (y) = y^{'} A y = x^{'} P^{'} A P x = x^{'} Σ x = σ_{1} x_{1}^{2} + σ_{2} x_{2}^{2} + \dots + σ_{n} x_{n}^{2} .

$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$

这个功能绝对不是凸的！ 它的图看起来像是一个超抛物面的一部分：在内部的每个点，所有都是非负数这一事实使它向上卷曲而不是向下卷曲。 $\mathcal X$ $\sigma_i$

但是，我们可以通过一种非常有用的技术将变成凸问题。 $(**)$ 知道最大值将在，让我们从减去常数，至少对于边界上的点而言。这不会改变任何点的位置边界处进行了优化，因为它降低了所有值相同的值在边界上。这建议检查功能 $x^\prime x = 1$ $\sigma_1$ $f$ $\mathcal{X}$ $f$ $f$ $\sigma_1$

g (y) = f (y) - σ_{1} y^{'} y .

$g(y) = f(y) - \sigma_1 y^\prime y.$

实际上，这在边界点从减去常数，在内部点减去较小的值。 这将确保与相比，在内部没有新的全局最大值。 $\sigma_1$ $f$ $g$ $f$ $\mathcal X$

让我们研究一下用替换的惯用。因为是正交的，所以。（这实际上是正交变换的定义。）因此，就坐标而言，可以写成 $-\sigma_1$ $-\sigma_1 y^\prime y$ $\mathbb P$ $y^\prime y = x^\prime x$ $x$ $g$

g (y) = σ_{1} x_{1}^{2} + \dots + σ_{n} x_{n}^{2} - σ_{1} (x_{1}^{2} + \dots + x_{n}^{2}) = (σ_{2} - σ_{1}) x_{2}^{2} + \dots + (σ_{n} - σ_{1}) x_{n}^{2} .

$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$

因为对于所有，每个系数为零或负。 因此，当时，（a）是凸的，而（b）是优化的。（则意味着并且当时达到最佳。符号-的第一列。） $\sigma_1 \ge \sigma_i$ $i$ $g$ $g$ $x_2=x_3=\cdots=x_n=0$ $x^\prime x=1$ $x_1=\pm 1$ $y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$ $\mathbb P$

让我们概括一下逻辑。 因为在的边界上优化，因为与区别仅在于该边界上的常数，并且因为的值甚至更接近到的值上的内部，的最大值必须的最大值重合。 $g$ $\partial D^n=S^{n-1}$ $y^\prime y = 1$ $f$ $g$ $\sigma_1$ $g$ $f$ $D^n$ $f$ $g$

— ub
source

+1非常好。我进行了修改，以将一个公式修正为我认为您想要的（但请检查）。除此之外，我发现句子“那不会改变优化f的任何边界值”一开始会令人困惑，因为边界值确实发生了变化：您要减去。重新调整一下是否有意义？

σ_{1}

$\sigma_1$

— 变形虫说莫妮卡（Monica）

@amoeba在所有方面都正确；谢谢。我已经扩大了关于这一点的讨论。

— ub

（+1）在您的答案中，您似乎将凸函数定义为大多数人认为是凹函数（也许是因为凸优化问题具有凸域和计算最大值的凹函数（或一个凸在其一个函数最小计算））

— user795305

@amoeba这是一个微妙的论点。但是请注意，发现新的最大值（最大值）仅出现在边界上。那排除了您的反例。另一个值得注意的点是，最后我们并不真正在乎的内部是否出现了新的局部（甚至全局）最大值，因为我们最初只关注其边界上的局部最大值。因此，我们可以自由地以不会使任何局部边界最大值移动或消失的任何方式更改。

g

$g$

X

$\mathcal X$

f

$f$

— ub

是的我同意。如果结果为“凸”且恰好在边界上具有最大值，则在内部如何修改并不重要。您的确实在边界上具有最大值，这使整个参数都起作用。说得通。

f

$f$

g

$g$

g

$g$

— 变形虫说莫妮卡（Monica）

没有。

矩阵等级 PCA 可表示为 $k$ $M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

（是Frobenius范数）。有关推导，请参见Eckart-Young定理。 $\|\cdot\|_F$

尽管范数是凸的，但对其进行优化的集合是非凸的。

一个凸松弛 PCA的问题被称为凸低秩逼近

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

（是核范数。它是秩的凸松弛-就像是矢量的非零元素数的凸松弛） $\|\cdot\|_*$ $\|\cdot\|_1$

有关详细信息，请参见《稀疏统计学习》第6章（矩阵分解）。

如果您对更常见的问题以及它们与凸度的关系感兴趣，请参见广义低秩模型。

— 雅库布·巴特祖克（Jakub Bartczuk）
source

免责声明：前面的答案很好地解释了PCA在其原始公式中是如何非凸的，但可以转换为凸优化问题。我的答案仅适用于那些对单元球和SVD术语不太熟悉的可怜的人（例如我）-顺便说一句，很高兴知道。

我的资料来自Tibshirani教授的这篇讲义

对于要用凸优化技术解决的优化问题，有两个先决条件。

目标函数必须是凸的。
约束函数也应该是凸的。

PCA的大多数公式都涉及矩阵等级的约束。

在这些类型的PCA配方中，违反了条件2。因为，的约束不是凸的。例如，令，为2×2个零矩阵，分别在左上角和右下角有一个1。然后，它们每个都具有等级1，但它们的平均值具有等级2。 $rank(X) = k,$ $J_{11}$ $J_{22}$

— 蜜bad
source

您能否解释一下“ ”指的是什么，为什么它的等级受到限制？这与我对PCA的理解并不相符，但是也许您正在考虑一个更专业的版本，其中仅寻求主要组件。

X

$X$

k

$k$

— ub

是的，是转换（旋转）的数据矩阵。在这种表述中，我们寻找至少为等级矩阵。您可以参考我的答案中的链接以获得更准确的描述。

X

$X$

k

$k$

— honeybadger