使用AIC（或BIC）选择PCA模型

12

我想使用Akaike信息准则（AIC）选择要在PCA中提取的适当数量的因子。唯一的问题是我不确定如何确定参数数量。

考虑一个矩阵，其中代表变量数，代表观察数，这样。由于协方差矩阵是对称的，因此的最大似然估计可以将AIC中的参数数量设置为。 $T\times N$ $X$ $N$ $T$ $X\sim \mathcal N\left(0,\Sigma\right)$ $\Sigma$ $\frac{N\left(N+1\right)}{2}$

可选地，在PCA，可以提取第一特征向量和特征值，叫他们和，然后计算，其中是平均残差。据我统计，如果你有因素，那么你会在参数，在参数，和参数。 $f$ $\Sigma$ $\beta_{f}$ $\Lambda_{f}$

Σ = β_{f} Λ_{f} β_{f}^{'} + I σ_{r}^{2}

$\Sigma=\beta_{f}\Lambda_{f}\beta_{f}'+I\sigma_{r}^{2}$

σ_{r}^{2}

$\sigma_{r}^{2}$

f

$f$

f

$f$

Λ_{f}

$\Lambda_{f}$

N f

$Nf$

β_{f}

$\beta_{f}$

1

$1$

σ_{r}^{2}

$\sigma_{r}^{2}$

这种方法正确吗？随着因子数量增加到，似乎它将比最大似然方法导致更多的参数。 $N$

pca model-selection

— 约翰
source

1

N f

$N f$ 夸大了参数：由于特征向量相互正交，因此存在冗余。

— ub

10

第一个特征向量具有

自由参数。正交性条件将第二个特征向量限制为与第一个正交的超空间，仅需要

参数。每个连续的特征向量都需要比前一个少一个的参数。在极限

特征向量你丢弃

（因为它现在零），得到

=

的参数在TOTO，

N

$N$

N - 1

$N-1$

N

$N$

σ_{r}^{2}

$\sigma_r^2$

N + (N - 1) + \dots + 1

$N+(N-1)+\cdots+1$

N (N + 1) / 2

$N(N+1)/2$ 与您的第一个参数计数一致。

— whuber

1

@ A.Donda的情况是模糊的：让我们假设你已经还指出，多重每个特征值，这些多重的

总和为

允许PCA找到正交变换，我们将使用

参数来确定它。但是每个本征空间的稳定器是维数为

正交基团

因此，每个消除

n_{1}, n_{2}, \dots, n_{s},

$n_1, n_2, \ldots, n_s,$

N .

$N.$

N (N - 1) / 2

$N(N-1)/2$

n_{i} .

$n_i.$

参数，剩下

参数用于旋转。在

特征值提供剩余的参数。

n_{i} (n_{i} - 1) / 2

$n_i(n_i-1)/2$

N (N - 1) / 2 - \sum_{i = 1}^{s} n_{i} (n_{i} - 1) / 2

$N(N-1)/2 - \sum_{i=1}^s n_i(n_i-1)/2$

s

$s$

— whuber

1

（我应该补充一点，此计数在问题上的应用是可疑的：即使可能偶然发现某些具有较高重乘性的特征值，PCA也会使用所有

参数。它永远不会获得大于

的多重性。）

N (N - 1) / 2

$N(N-1)/2$

1

$1$

— whuber

1

@whuber，谢谢！我的问题是由以下情况引起的：我在特征值约束下估算协方差矩阵。

— A. Donda

5

$\mathrm{log}\: p(D|k)$ $k$ $D$

显然，这是基于贝叶斯观点的，而不是基于AIC使用的信息论标准（KL-散度）。

关于原始的“参数编号确定”问题，我也认为@whuber的注释具有正确的直觉。

— usεr11852
source

我在不同大小的随机矩阵上玩AIC与AICc。AICc似乎工作得更好。这些参考文献看起来不错，但是我还没有机会消化。

— 约翰

6

可以使用Horn的并行分析（PA）轻松地在PCA中选择“适当”数量的组件。论文表明，该标准始终优于经验法则，例如肘部标准法或凯撒法则。R包“ paran”具有PA的实现，只需单击几次鼠标即可。

当然，保留多少组件取决于数据缩减的目标。如果您只希望保留“有意义的”方差，则PA将提供最佳的降低。但是，如果希望最大程度地减少原始数据的信息丢失，则应保留足够的分量以覆盖95％的解释方差。尽管对于高维数据集，降维仍将是可观的，但这显然将比PA保留更多的组件。

关于PCA作为“模型选择”问题的最后一点说明。我完全不同意彼得的答复。有许多论文将PCA重构为回归型问题，例如稀疏PCA，稀疏概率PCA或ScotLASS。在这些“基于模型”的PCA解决方案中，加载是可以使用适当的惩罚项设置为0的参数。在这种情况下，大概也可以为所考虑的模型计算AIC或BIC类型统计信息。

从理论上讲，此方法可以包括一个模型，其中两个PC不受限制（所有加载都不为零），而PC1不受限制并且PC2的所有加载都设置为0。这等效于推断PC2是否冗余。总体上。

参考文献（PA）：

Dinno，A.（2012年）。paran：Horn的主要成分/因子测试。R软件包版本1.5.1。http://CRAN.R-project.org/package=paran
Horn JL1965。因素分析中的因素数量论和检验。Psychometrika。30：179–185
Hubbard，R.＆Allen SJ（1987）。主成分提取替代方法的经验比较。商业研究杂志，15，173-190。
Zwick，WR＆Velicer，WF1986。确定保留零件数量的五个规则的比较。心理公告。99：432–442

— 本M.
source

欢迎使用该网站@BenM。从您的回答中，我认为有您的陪伴将是一件很好的事情（尽管我对PCA的了解不多，无法评估您的主张）。您注意到一个问题，这些职位已经确立，您能否列出一些有代表性的出版物，让感兴趣的读者可以找到更多详细信息？

— gung-恢复莫妮卡

-1

AIC专为型号选择而设计。这实际上不是模型选择问题，也许您最好采用其他方法。另一种选择是指定所解释的某个总方差百分比（例如75％），如果达到该百分比，则在该百分比达到75％时停止。

— 迈克尔·R·切尼克
source

1

我根据因素的数量在不同的模型之间进行选择（因素为1的模型与因素为2的模型，等等）。方差百分比的问题主要是，它忽略了估计附加特征向量的成本，尤其是在观察次数少于变量数目时。AIC非常适合概率PCA方法。

— 约翰（John）

3

迈克尔，您能准确解释为什么这不是选型问题吗？看起来约翰显然已将其表述为一。

— ub

@whuber什么是统计模型？在我看来，确定用于表示变量Y中方差x％的主成分的数量并不是在选择模型。我也不会将主成分视为模型参数。

— Michael R. Chernick

2

X_{i}

$X_i$

N (0, Σ)

$N(0,\Sigma)$

Σ

$\Sigma$

σ_{i}^{2}

$\sigma_i^2$

ρ

$\rho$

| ρ | = 1

$|\rho|=1$

θ

$\theta$

λ_{1} \geq λ_{2}

$\lambda_1\ge\lambda_2$

λ_{2} = 0

$\lambda_2=0$ 。两种观点都测试了完美的相关性（共线性）。他们只是使用不同的参数化。如果允许第一个作为模型，则必须允许第二个作为模型。

— ub

-3

AIC在这里不合适。您不是要在具有不同数量参数的模型之间进行选择-主成分不是参数。

有多种方法可以从因子分析或主成分分析中确定因子或成分的数量，例如卵石测试，特征值> 1等。但是真正的检验是实质性的：什么数量的因子才有意义？查看因素，考虑权重，找出最适合您数据的权重。

像统计中的其他内容一样，这不是很容易自动化的事情。

— 彼得·弗洛姆-恢复莫妮卡
source

4

Σ

$\Sigma$

Σ

$\Sigma$

1

@协方差矩阵的参数可能但不是模型参数。在这方面，我支持彼得。

— Michael R. Chernick

3

彼得，您究竟在“模型参数”和“参数”之间有什么区别？我不知道任何此类事情，因此希望您能对此有所了解。如果您的目的是找到对多元协方差的简约描述，那么它们不构成“模型”参数吗？

— ub

3

n

$n$

m ≪ n

$m\ll n$

1

谢谢（你的）信息。时间序列是我所不了解的统计领域之一。

— 彼得·弗洛姆