是否有对数据矩阵

107

对于给定的数据矩阵 $A$ （列中有变量，行中有数据点），似乎 $A^TA$ 在统计中起着重要作用。例如，它是普通最小二乘分析解决方案的重要组成部分。或者，对于PCA，其特征向量是数据的主要成分。

我知道如何计算 $A^TA$ ，但是我想知道是否可以直观地解释此矩阵表示什么，从而导致它的重要作用？

matrix covariance-matrix correlation-matrix

— 亚历克
source

2

stats.stackexchange.com/a/66295/919的分析可能会提供一些直觉。

— whuber

125

几何学上，矩阵称为的矩阵的标量积（=点积，=内积）。在代数上，它称为平方和和乘积矩阵（SSCP）。 $\bf A'A$

它的第个对角元素等于，其中表示第列中的值，而是各行之和。其中的第个非对角元素为。 $i$ $\sum a_{(i)}^2$ $a_{(i)}$ $i$ $\bf A$ $\sum$ $ij$ $\sum a_{(i)}a_{(j)}$

有许多重要的关联系数，它们的平方矩阵称为角度相似度或SSCP类型相似度：

将SSCP矩阵除以，即样本大小或的行数，即可得到MSCP（均方和叉积）矩阵。因此，该关联度量的成对公式为 $n$ $\bf A$ （向量和是的一对列）。 $\frac{\sum xy}{n}$ $x$ $y$ $\bf A$
如果您居中的列（变量），然后 $\bf A$ $\bf A'A$ 是散射（或共同分散，如果是严格）基质和是协方差矩阵。协方差的成对公式为 $\mathbf {A'A}/(n-1)$ 其中和表示中心列。 $\frac{\sum c_xc_y}{n-1}$ $c_x$ $c_y$
如果z- 标准化列 $\bf A$ （减去列的平均值和通过标准偏差除），然后是皮尔森相关矩阵：相关性是标准化变量的协方差。成对的相关公式为 $\mathbf {A'A}/(n-1)$ ，和表示标准化列。该相关也称为线性系数。 $\frac{\sum z_xz_y}{n-1}$ $z_x$ $z_y$
如果您单位标度列 $\bf A$ （把他们的SS，求和的平方为1），然后是余弦相似矩阵。因此，等效的成对公式似乎是 $\bf A'A$ 其中和表示L2归一化列。余弦相似度也称为比例系数。 $\sum u_xu_y = \frac{\sum{xy}}{\sqrt{\sum x^2}\sqrt{\sum y^2}}$ $u_x$ $u_y$
如果居中然后单位- 规模的列，然后再次是皮尔森相关矩阵，因为相关性是居中变量余弦 $\bf A$ $\bf A'A$ $^{1,2}$ ： $\sum cu_xcu_y = \frac{\sum{c_xc_y}}{\sqrt{\sum c_x^2}\sqrt{\sum c_y^2}}$

除了这些四个主要的关联措施，也让我们提一些其他的，也是基于，最糟糕的是。可以将它们视为余弦相似度的替代方法，因为它们采用与归一化不同的公式，即公式中的分母： $\bf A'A$

同一性系数[Zegers＆Ten Berge，1985]的分母为算术平均值而不是几何平均值：。当且仅当的被比较列相同时，才可以为1。 $\frac{\sum{xy}}{(\sum x^2+\sum y^2)/2}$ $\bf A$
另一个类似的可用系数称为相似比：。 $\frac{\sum{xy}}{\sum x^2 + \sum y^2 -\sum {xy}} = \frac{\sum{xy}}{\sum {xy} + \sum {(x-y)^2}}$
最后，如果中的值是非负值，并且它们在列中的总和为1（例如，它们是比例），则 $\bf A$ 是保真度或Bhattacharyya系数的矩阵。 $\bf \sqrt {A}'\sqrt A$

还一种方法来计算相关或协方差矩阵，由许多统计软件包使用的，绕过定心的数据，并直接从SSCP矩阵离开这种方式。令为数据的列总和的行向量，而为数据中的行数。然后（1）计算所述散布矩阵为 [那里，将协方差矩阵]; （2）的对角线 $^1$ $\bf A'A$ $\bf s$ $\bf A$ $n$ $\bf C = A'A-s's/ \it n$ $\mathbf C/(n-1)$ $\bf C$ 是行向量的平方偏差之和; （3）计算相关矩阵 $\bf d$ 。 $\bf R=C/\sqrt{d'd}$

一位敏锐但统计上新手的读者可能会发现很难调和两个相关的定义，即“协方差”（包括按样本量平均，除以df=“ n-1”）和“余弦”（表示无这样的平均值）。但是实际上，在相关的第一个公式中没有真正的平均发生。事情是那圣。依次通过除以相同的df来计算达到z标准化的偏差；因此，如果解开该公式，则相关协方差公式中的分母“ n-1”将完全抵消：该公式变为余弦公式。要计算你真的需要经验的相关值不知道 $^2$ $n$ （除非计算平均值，否则要居中）。

— ttnphns
source

42

矩阵包含以下所有列的所有内积 $A^TA$ $A$ 。因此，对角线包含列的平方范数。如果考虑各列所跨越的列空间上的几何图形和正交投影，您可能还记得，跨越该空间的向量的范数和内积在投影的计算中起着核心作用。最小二乘回归以及主成分可以通过正交投影来理解。 $A$

还要注意，如果的列是正交，从而形成为列的空间，那么一个标准正交基 $A$ $A^TA = I$ $-$ 单位矩阵。

— NRH
source

39

@NRH提供了很好的技术答案。

如果您想要真正基本的东西，可以将视为与标量相等的矩阵。 $A^TA$ $A^2$

— 彼得·弗洛姆
source

5

尽管其他答案在技术上更“正确”，但这是最直观的答案。

— CatsLoveJazz

3

的几何形状的一个重要观点是这样（在斯特朗的书的“线性代数及其应用”的观点出发，强烈强调）：假设A是等级为k的-矩阵，表示线性地图。让上校（A）和行（A）是列和行空间。然后 $A'A$ $m \times n$ $A: R^n \rightarrow R^m$ $A$

（a）作为一个实对称矩阵，具有基础非零特征值的特征向量的 $(A'A): R^n \rightarrow R^n$ $\{e_1,..., e_n\}$ $d_1,\ldots,d_k$ 。从而：

。 $(A'A)(x_1e_1 + \ldots + x_ne_n) = d_1x_1e_1 + ... + d_kx_ke_k$

（b）根据Col（A）的定义，范围（A）= Col（A）。因此，A | Row（A）将Row（A）映射到Col（A）。

（c）内核（A）是行（A）的正交补码。这是因为矩阵乘法是根据点积（行i）*（col j）定义的。（因此 $Av'= 0 \iff \text{v is in Kernel(A)} \iff v \text{is in orthogonal complement of Row(A)}$

（d）和是同构的。 $A(R^n)=A(\text{Row}(A))$ $A|\text{Row(A)}:\text{Row(A)} \rightarrow Col(A)$

Reason: If v = r+k (r \in Row(A), k \in Kernel(A),from (c)) then
A(v) = A(r) + 0 = A(r) where A(r) = 0 <==> r = 0$.

[偶然提供了行等级=列等级的证明！]

（e）申请（d），是同构 $A'|:Col(A)=\text{Row(A)} \rightarrow \text{Col(A')}=\text{Row(A)}$

（f）将（d）和（e）：和A'A地图行（A）同构到行（A）。 $A'A(R^n) = \text{Row(A)}$

— 马歇尔·科恩
source

2

您可以将公式包含在$和$中以获得

。

L A T E X

$\LaTeX$

— Placidia

1

尽管已经讨论过 $\textbf{A}^T\textbf{A}$ 具有取点积的含义，但我只会添加这种乘法的图形表示。

事实上，尽管矩阵的行 $\textbf{A}^T$ （和矩阵的列 $\textbf{A}$ ）表示变量，我们将每个变量测量值作为一个多维矢量。乘以行 $row_p$ 的 $\textbf{A}^T$ 与列 $col_p$ 的 $\textbf{A}$ 相当于服用两个向量的点积： $dot(row_p, col_p)$ -结果是所述条目在位置 $(p,p)$ 在矩阵 $\textbf{A}^T \textbf{A}$ 。

类似地，行乘以 $p$ 的 $\textbf{A}^T$ 与列 $k$ 的 $\textbf{A}$ 等同于点积： $dot(row_p, col_k)$ ，结果在位置 $(p,k)$ 。

所得矩阵的项 $(p, k)$ 的含义是向量在向量的方向上有多少。如果两个向量和的点积不为零，则有关向量一些信息 $\textbf{A}^T\textbf{A}$ $row_p$ $col_k$ $row_i$ $col_j$ $row_i$ 被携带通过载体 $col_j$ ，反之亦然。

这个想法在主成分分析中起着重要的作用，我们想要找到初始数据矩阵 $\textbf{A}$ 的新表示形式，这样就不会在任何其他列携带任何有关列 $i$ 更多信息。 $j \neq i$ 。深入研究PCA，您会发现计算出了协方差矩阵的“新版本”，它变成了对角矩阵，我留给您意识到……确实意味着我在前一句话中所表达的。

— 卡米尔耶
source

0

有一定程度的直觉。对于那些熟悉矩阵表示法统计的人来说，直觉是将其视为随机变量的平方： $x\to E[x^2]$ vs $A\to A^TA$

在矩阵表示法中，随机变量 $x$ 观测值 $x_i$ 或总体的样本由列向量表示：

a = [\begin{matrix} x_{1} \\ x_{2} \\ \dots \\ x_{n} \end{matrix}]

$a=\begin{bmatrix} x_1 \\ x_2 \\ \dots \\ x_n \end{bmatrix}$

所以，如果你想获得该变量的平方的样本均值 $x$ ，你只需获取点积

\bar{x^{2}} = \frac{a \cdot a}{n}

$\bar{x^2}=\frac{a\cdot a} n$ ，在矩阵符号上与

A^{T} A

$A^TA$ 。

$\sigma^2=E[x^2]$ $A^TA$ $A^TA$

— 阿克萨卡尔族
source