类似于PCA的非正交技术

假设我有一个二维点数据集，并且我想检测数据中所有局部极大值方差的方向，例如：

PCA在这种情况下无济于事，因为它是正交分解，因此无法检测到我用蓝色表示的两条线，而是它的输出可能看起来像绿线所示。

请推荐任何适合此目的的技术。谢谢。

独立成分分析应该能够为您提供良好的解决方案。通过假设您的测量结果是由统计独立变量的混合得出的，它可以分解非正交分量（如您的情况）。

Internet上有很多很好的教程，并提供了一些免费的可用实现供您试用（例如scikit或MDP）。

ICA什么时候不起作用？

与其他算法一样，在适用ICA的假设时，ICA是最佳的。具体来说，

1. 来源在统计上是独立的
2. 独立分量是非高斯的
3. 混合矩阵是可逆的

ICA返回混合矩阵和独立分量的估计值。

当您的源是高斯源时，ICA将找不到这些组件。假设您有两个独立的组件，$x_{1}$ 和 $x_{2}$， 哪个是 $N(0,I)$。然后，

哪里 $||.||$。是二维向量的范数。如果它们与正交变换（例如旋转）混合$R$）， 我们有， $||R\mathbf{x}|| = ||\mathbf{x}||$，这意味着概率分布在旋转下不会改变。因此，ICA无法从数据中找到混合矩阵。

对于所谓的“倾斜”情况，有类似PCA的过程。在像SPSS这样的统计软件（可能还包括在其免费软件克隆中）中，PSPP会发现等价的“倾斜旋转”，其实例称为“ oblimin”，“ promax”等。如果我对事情的理解正确，软件会尝试通过将正交欧几里德空间（例如，如您的图片所示）中的坐标重新计算为坐标轴非正交的空间坐标来“分解”因子负载。从多元回归中得知的一些技术。此外，我认为这仅是迭代工作，并且在模型的统计测试中消耗了一个或多个自由度。

对比PCA和倾斜旋转的
所述参考手册SPSS的（在IBM站点）为斜旋转包含用于计算偶数公式。

[更新]（upps，抱歉，刚刚检查过PSPP不提供倾斜类型的“旋转”）

我没有太多经验，但是Vidal，Ma和Sastry的Generalized PCA是针对非常相似的问题而制作的。

其他答案已经给出了有关您可以考虑使用的技术的有用提示，但是似乎没有人指出您的假设是错误的：原理图上以蓝色显示的线条不是方差的局部最大值。

要查看它，请注意方向变化 $\mathbf{w}$ 是（谁）给的 $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$，在哪里 $\mathbf{\Sigma}$表示数据的协方差矩阵。为了找到局部最大值，我们需要将该表达式的导数设为零。如$\mathbf{w}$ 被限制为具有单位长度，我们需要添加一个术语 $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ 哪里 $\lambda$是拉格朗日的乘数。求微分，我们得到以下方程式：

这意味着 $\mathbf{w}$应该是协方差矩阵的特征向量，即主向量之一。换句话说，PCA为您提供所有局部最大值，没有其他最大值。