独立成分分析和因素分析之间有什么关系？

我是独立成分分析（ICA）的新手，对这种方法只有基本的了解。在我看来，ICA与因子分析（FA）相似，但有一个例外：ICA假定观察到的随机变量是非高斯独立分量/因子的线性组合，而经典FA模型假定观察到的随机变量是相关的高斯成分/因子的线性组合。

以上准确吗？

FA，PCA和ICA都是“相关的”，因为它们三者都在寻求针对数据进行投影的基向量，因此您可以在此处最大化插入标准。将基本向量视为只是封装线性组合。

$\mathbf Z$$2$$N$$N$$\mathbf w = \begin{bmatrix}0.1 \\-4 \end{bmatrix}$$\mathbf y$

$\mathbf y$$1$$N$

那么这些标准是什么？

二阶条件：

在PCA中，您正在找到“最佳解释”数据方差的基础向量。第一个（即排名最高的）基础向量将最适合您数据中的所有方差。第二个也有此标准，但必须与第一个正交，依此类推。（事实证明，PCA的那些基向量不过是数据协方差矩阵的特征向量）。

在FA中，它与PCA之间存在差异，因为FA是可生成的，而PCA不是。我已经看到FA被描述为“带噪声的PCA”，其中“噪声”被称为“特定因素”。总体而言，总的结论是PCA和FA基于二阶统计量（协方差），而以上均不基于。

高阶条件：

在ICA中，您将再次找到基本向量，但是这次，您需要提供结果的基本向量，以使此结果向量成为原始数据的独立成分之一。您可以通过最大化标准化峰度的绝对值（4阶统计量）来实现。也就是说，您将数据投影到某个基本向量上，并测量结果的峰度。您稍微改变基向量（通常通过梯度上升），然后再次测量峰度，依此类推。最终，您将遇到一个基向量，该基向量会给您带来最高峰度的结果，这是您的独立零件。

上方的图表可以帮助您形象化。您可以清楚地看到ICA向量如何与数据轴相对应（彼此独立），而PCA向量则试图找到方差最大的方向。（有点像结果）。

如果在顶图中PCA向量看起来几乎与ICA向量相对应，那只是巧合。这是关于不同数据和混合矩阵的另一个实例，它们之间存在很大差异。;-)

不完全的。因子分析是在第二时刻进行的，并且确实希望数据是高斯的，这样似然比和类似的东西不会受到非正态性的影响。另一方面，ICA受到这样的想法的启发：当您添加东西时，由于CLT，您会得到正常的东西，并且真的希望数据是非正常的，以便可以从中提取非正常的分量。他们。为了利用非正态性，ICA尝试最大化输入线性组合的第四矩：

如果有的话，应该将ICA与PCA进行比较，后者可以使标准化输入组合的第二矩（方差）最大化。