二次多项式和的平方的系统研究

我想知道是否存在对类似于二次形式的二次形式平方和的系统研究，这实际上反映在特征值分解中（具有巨大的实际意义）。几个例子与问题的重要性有关。

主成分分析（PCA）。给定一点 $x_i \in \mathbb{R^n}, i=1..k$ 找到轴集 $u_1$ ，... $u_m$ ，写成矩阵 $U \in \mathbb{R^n x R^m}$ 和预测 $\xi_1$ ，...， $\xi_k, \xi_{\circ} \in \mathbb{R^m}$ 最小化无法解释的方差，即解决以下四次优化问题

$\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

通过对称魔术，它具有奇异值分解的解决方案
广义PCA。与PCA相同，但现在有了一个精度矩阵 $A_i \in \mathbb{R^n x R^n}$ 与每个可观察到的相关 $x_i$ 。问题变得更加复杂

$\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

（当所有 $A_i$ 是单位矩阵，这个问题等效于PCA，当 $A_i = A_j, \forall i,j$ ，对角线则为加权PCA）。这个问题也可以通过半定规划（SDP）在多项式时间内解决-由于该解具有平方和的形式，因此NZ Shor（1987）将其视为凸问题，而Parillo论文（2000）给出了一个实用的解决方案。通过SDP计算它的方法 $\square$

在SDP方法中，四次多项式被写为平方的二次多项式之和。因此，最重要的是要知道什么样的四次多项式可以写成平方的平方和（通过类似于二次函数的类，它们可以被称为二次形式）。在大多数文献中，我都遇到过停顿，即发现四次多项式的最小值 $p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$ 正在编码分区问题，没有参数说明为什么 $p$ 不能将其表示为二次多项式的平方和。

我想知道是否有人对多项式进行了系统的研究，可以用二次多项式的平方和表示。

ds.algorithms polynomials semidefinite-programming

— 姆卡特科夫
source

据我所知，尚无此类研究。此外，如果平方和（SOS）问题技术没有取得非凡的进步，目前尚不清楚这种研究的直接好处是什么。（我将重点介绍SOS连接，因为据我所知，这是解决这些一般四次问题的最佳方法。）此声明应从积极的角度考虑：我相信围绕着许多研究领域这些问题。我将以几种方式证实我的主张，希望能以人们认为有用的方式。

首先，对于您讨论的最基本类型的问题，SVD连接提供的解决方案比SOS黑盒更好。特别是，后者使用项构造SDP ，其中是源优化问题中的变量总数（例如，所有未知矩阵中的元素总数；请参见在哪里可以找到这些数字，请参阅Pablo Parrilo在2006年的课程中的第10课：http ://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-972-algebraic-techniques-and-semidefinite-optimization -spring-2006 / lecture-notes / lecture_10.pdf）。这是您永远都不想解决的SDP（运行时间取决于为 $\binom{n+2}{2}$ $n$ $n$ $n^{6}$ 使用内点求解器？），尤其是与SVD求解器的荒谬速度相比（使用一致的符号，SVD类似于；您可以通过跟踪列数，行数和目标排名，但无论您如何纠正我的疏忽，都是一场灾难）。沿着这种思路，如果您设计了一种专门的算法来解决SOS问题，其中任何多项式中的最大次数为2：这将是惊人的，那么您寻求的调查类型将具有很大的价值。 $\mathcal O(n^{1.5})$

其次，由于这些问题的基本表述是不可能的，因此人们可能会想知道，这些问题的某些变体是否可以由SOS解算器很好地处理。举一个重要的例子，考虑NMF（非负矩阵分解）问题，在该问题中，您正在优化的矩阵未知数（在上述公式中）现在必须具有非负项。不幸的是，如果您采用用于解决这些问题的标准SDP（例如，参见上面的Pablo Parrilo的说明），则无法引入这些约束。（并且由于产生的问题的某些表述是NP难解的，因此您现在将要建立一个近似方案；即，这可能会令人讨厌。）此外，最近有一些工作利用该问题的多项式结构来构建具有某些特征的求解器保证：见http://arxiv.org/abs/1111.0952，作者是Arora，Ge，Kannan和Moitra。他们构建了一些算法，但是当他们解决“精确” NMF问题（存在精确的因式分解，即给定目标值0的问题）时，他们不使用SOS求解器：他们使用求解器检查“半”的可行性-代数集”，这是一个更为困难的优化问题，它允许NMF提出各种约束，但现在具有指数运行时间。

无论如何，总结并给出进一步的观点；由于SOS是afaik唯一可以解决您所提到的四次问题的解决方案（即，我认为没有专门的四次解决方案的人），因此，我已经讨论了这些解决方案如何为人们所关心的四次问题提供更好的替代方案。为了在这里有效地使用SOS工具，您要么必须为四次案例构建一个令人惊叹的求解器（度数的内部多项式最多为2），要么必须找到某种方法来对这些问题添加约束。否则，与SOS问题的连接虽然引人入胜，但却不能给您太多帮助。

您还提到，您对发现的文献没有建立这种联系感到惊讶。我认为这主要是由于实用的SOS求解器的新颖性（尽管对SOS问题的抽象考虑可以追溯到很久以前），以及我上面所说的。实际上，当我第一次找到SOS求解器时，就是通过Parrilo的笔记和论文，我同样想知道，“他为什么不谈论PCA类型的问题”？然后，我检查了上述事实并皱了皱眉。我认为这也是一个不好的信号，据我所知/我所说，帕里洛本人并未在您论文中提及的参考文献之外讨论这些问题（同时，他有关于各种扩展的论文，我非常尊重他在这些领域的工作：他一定已经多次思考过这些特定的四次问题。http://arxiv.org/abs/1111.1498）。

— 马图斯
source