该问题询问有关“识别变量之间的潜在[线性]关系”的问题。
快速简便的关系检测方法是使用您喜欢的软件对其他变量（使用常数，甚至使用偶数）进行回归：任何良好的回归过程均可检测和诊断共线性。（您甚至不必费心查看回归结果：我们仅依赖于建立和分析回归矩阵的有用副作用。）
但是，假设检测到共线性，下一步怎么办？ 主成分分析（PCA）正是需要的：其最小的成分对应于近乎线性的关系。这些关系可以直接从“负荷”中读取，“负荷”是原始变量的线性组合。小载荷（即与小特征值相关的载荷）对应于近似共线性。特征值对应于理想的线性关系。仍然比最大值小得多的稍大的特征值将对应于近似线性关系。0
（确定什么是“小”负载是一门艺术和大量文献。对于建模因变量，我建议将其包括在PCA的自变量中，以识别组件，无论如何它们的大小-在其中因变量起着重要的作用。从这个角度来看，“小”表示比任何此类组件都小得多。）
让我们看一些例子。 （这些R用于计算和绘图。）从执行PCA的功能开始，寻找小零件，对其进行绘图，然后返回它们之间的线性关系。
pca <- function(x, threshold, ...) {
fit <- princomp(x)
#
# Compute the relations among "small" components.
#
if(missing(threshold)) threshold <- max(fit$sdev) / ncol(x)
i <- which(fit$sdev < threshold)
relations <- fit$loadings[, i, drop=FALSE]
relations <- round(t(t(relations) / apply(relations, 2, max)), digits=2)
#
# Plot the loadings, highlighting those for the small components.
#
matplot(x, pch=1, cex=.8, col="Gray", xlab="Observation", ylab="Value", ...)
suppressWarnings(matplot(x %*% relations, pch=19, col="#e0404080", add=TRUE))
return(t(relations))
}
让我们将其应用于一些随机数据。这些建立在四个变量（问题的和）的基础上。这是一个将计算为其他给定线性组合的小函数。然后，它将iid正态分布的值添加到所有五个变量中（以查看当多重共线性仅是近似值而不是精确值时，过程执行得如何）。B,C,D,EA
process <- function(z, beta, sd, ...) {
x <- z %*% beta; colnames(x) <- "A"
pca(cbind(x, z + rnorm(length(x), sd=sd)), ...)
}
我们都准备好了：仅保留生成并应用这些过程。我使用问题中描述的两种情况：（每个都有一些错误）和（每个都有一些错误）。但是，首先请注意，PCA几乎总是应用于居中数据，因此使用可以将这些模拟数据居中（但不能重新缩放）。B,…,EA=B+C+D+EA=B+(C+D)/2+Esweep
n.obs <- 80 # Number of cases
n.vars <- 4 # Number of independent variables
set.seed(17)
z <- matrix(rnorm(n.obs*(n.vars)), ncol=n.vars)
z.mean <- apply(z, 2, mean)
z <- sweep(z, 2, z.mean)
colnames(z) <- c("B","C","D","E") # Optional; modify to match `n.vars` in length
在这里，我们讨论了两种情况和三种错误级别。原始变量始终保留不变：只有和错误项有所不同。B,…,EA
与左上方面板相关的输出是
A B C D E
Comp.5 1 -1 -1 -1 -1
这表示一排红点-始终为，表示完美的多重共线性-由组合：正好是所指定的。00≈A−B−C−D−E
上中间面板的输出是
A B C D E
Comp.5 1 -0.95 -1.03 -0.98 -1.02
系数仍然接近我们的预期，但是由于引入的误差，它们并不完全相同。它在所隐含的五维空间内加厚了四维超平面，并使估计方向稍微倾斜了一点。随着更多的误差，增厚变得可与点的原始散布相媲美，从而使超平面几乎无法估计。现在（在右上方的面板中）系数为(A,B,C,D,E)
A B C D E
Comp.5 1 -1.33 -0.77 -0.74 -1.07
它们已经改变了很多，但是仍然反映了基本的基本关系，其中的质数表示已消除（未知）错误的值。A′=B′+C′+D′+E′
底行的解释方式相同，其输出类似地反映系数。1,1/2,1/2,1
在实践中，通常不会出现将一个变量选为其他变量的明显组合的情况：所有系数的大小都可能相当，符号也不同。此外，当关系有多个维度时，没有唯一的方式来指定它们：需要进一步分析（例如行减少）来确定这些关系的有用基础。这就是世界的运作方式：您只能说PCA输出的这些特定组合几乎不对应数据变化。 为了解决这个问题，某些人可以直接使用最大（“主要”）成分作为回归或后续分析中的自变量，无论采用哪种形式。如果这样做，请不要忘记首先从变量集中删除因变量并重做PCA！
这是复制此图的代码：
par(mfrow=c(2,3))
beta <- c(1,1,1,1) # Also can be a matrix with `n.obs` rows: try it!
process(z, beta, sd=0, main="A=B+C+D+E; No error")
process(z, beta, sd=1/10, main="A=B+C+D+E; Small error")
process(z, beta, sd=1/3, threshold=2/3, main="A=B+C+D+E; Large error")
beta <- c(1,1/2,1/2,1)
process(z, beta, sd=0, main="A=B+(C+D)/2+E; No error")
process(z, beta, sd=1/10, main="A=B+(C+D)/2+E; Small error")
process(z, beta, sd=1/3, threshold=2/3, main="A=B+(C+D)/2+E; Large error")
（在大错误情况下，我不得不摆弄阈值，以便仅显示单个组件：这就是将这个值作为参数提供给的原因process。）
用户ttnphns已将我们的注意力引向了一个密切相关的线程。 其答案之一（由JM提出）建议了此处描述的方法。