完成3x3相关矩阵：三个给定系数中的两个

20

采访中有人问我这个问题。

假设我们有一个形式为的相关矩阵

[\begin{matrix} 1 & 0.6 & 0.8 \\ 0.6 & 1 & γ \\ 0.8 & γ & 1 \end{matrix}]

$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$

给定该相关矩阵，要求我查找gamma的值。
我以为我可以对特征值做些什么，因为它们都应该大于或等于0（矩阵应该是正半定数）-但我认为这种方法不会产生答案。我想念一个把戏。

您能否提供解决该问题的提示？

pearson-r correlation-matrix

— 新手
source

评论不作进一步讨论；此对话已转移至聊天。

— Whuber

1

对这个站点的搜索直接导致一个包含相关公式的（几个）线程之一：stats.stackexchange.com/questions/5747。felix的答案中也有一些有用的图。

— ub

21

我们已经知道介于之间，相关矩阵应该是正半定的，因此其主要未成年人应该是非负的 $\gamma$ $[-1,1]$

因此，

\begin{aligned} 1 (1 - γ^{2}) - 0.6 (0.6 - 0.8 γ) + 0.8 (0.6 γ - 0.8) & \geq 0 \\ - γ^{2} + 0.96 γ \geq 0 \\ ⟹ γ (γ - 0.96) \leq 0 and - 1 \leq γ \leq 1 \\ ⟹ 0 \leq γ \leq 0.96 \end{aligned}

$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$

— 权利扭曲
source

4

@novice您可能想阅读有关Sylvester的准则

— 歪曲了

好答案。我将添加以下内容：获得伽马的流行方法是尝试找到在求解上述方程式时可能导致最小核范数（aka ky-fan范数）的相关矩阵的伽马。有关更多信息，请查找“矩阵完成”，“压缩感测”，或查看有关主题bit.ly/2iwY1nW的报告。

— Mustafa S Eisa

1

为了证明这一点，您需要从另一个方向得出结果：如果所有非平凡的前导次要对象，并且矩阵的行列式，则矩阵是正半定的。

> 0

$>0$

\geq 0

$\geq 0$

— Federico Poloni'1

10

这是一个更简单（也许更直观）的解决方案：

将协方差视为抽象向量空间上的内积。然后，对于向量，，，相关矩阵中的条目为，其中尖括号表示和之间的夹角。 $\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{v}_3$ $\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_i$ $\mathbf{v}_j$

不难想象被。因此，其余弦（）的边界为。然后，基本三角给出。 $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$ $|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$ $\gamma$ $\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ $\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

编辑：请注意，最后一行的确实是 - -由于，巧合出现了0.6和0.8的第二次出现。 $0.6\times 0.8 \mp 0.6\times 0.8$ $\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$ $0.6^2+0.8^2=1$

— angle
source

1

+1，一种合法的几何推理（但我还是没有检查您的计算）。这正是我在对该问题的评论中所提出的（不幸的是，所有评论已由主持人移动到聊天室，请参阅上面的链接）。

— ttnphns

在我看来，您已经“证明”了所有相关性都必须是非负的，因为看来您的计算将始终为下限给出零。如果不是这种情况，那么您能否详细说明一下您的计算工作原理？我实在不放心-或许不明白-你的束缚，因为在三个或更多维度，你总能找到对于这两个，然后您绑定意味着始终为零！（cc @ttnphns）

v_{1}

$v_1$

v_{1} \cdot v_{2} = v_{1} \cdot v_{3} = 0

$v_1\cdot v_2=v_1\cdot v_3=0$

v_{2} \cdot v_{3}

$v_2\cdot v_3$

— 胡伯

@whuber：很抱歉感到困惑。计算的下限并不总是为零。我已经修改了答案。

— yangle

您如何回应我的最后关注？似乎表明您的范围是错误的。

— ub

@whuber：在您的情况下，⟨v1，v2⟩=⟨v1，v3⟩=π/ 2，因此边界|⟨v1，v2⟩±⟨v1，v3⟩| 预期为[0，π]。γ上的束缚cos⟨v1，v2⟩cos⟨v1，v3⟩∓sin⟨v1，v3⟩sin⟨v1，v2⟩也算出为[-1，1]。

— yangle

4

这是我在最初对答案的评论中的意思，以及我认为@yangle可能在说什么（尽管我没有关注/检查它们的计算）。

“矩阵应为正半定数” 表示变量向量在欧几里得空间中是一堆。相关矩阵的情况比协方差矩阵更容易，因为三个向量的长度固定为1。想象3个单位向量XYZ并记住是角度的余弦。因此，和。的边界可能是什么？该关联可以采用Z围绕Y定义的任何值（保持角度）： $r$ $\cos \alpha=r_{xy}=0.6$ $\cos \beta=r_{yz}=0.8$ $\cos \gamma=r_{xz}$ $r_{yz}=0.8$

旋转时，两个位置都非常引人注目，即X极限，这两个都是Z落入平面XY时的位置。一个在X和Y之间，另一个在Y的另一侧。这些由蓝色和红色矢量表示。在这两个位置上，配置XYZ（相关矩阵）正好是奇异的。这些是Z可以达到Wrt X的最小和最大角度（因此相关）。

选取三角公式来计算平面上的角度之和或差，我们有：

$\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$ 作为界限。

这种几何视图只是以代数形式（次要等）表示的@rightskewed的另一种外观（在3D情况下为特定且简单的视图）。

— ttnphns
source

如果X，Y，Z是随机变量，如何将它们映射到3d空间中的向量（它们只能是1d空间中的向量）。同样，如果RV为Nx1，那么它们将是N维空间中的向量吗？

— 新手

@novice是的，它们最初是Nd空间中的3个向量，但是只有3个维度是非冗余的。请点击答案中的第二个链接，并在那里阅读进一步的参考资料，以了解其中的主题空间。

— ttnphns

4

与主要未成年人一起玩在3 x 3或4 x 4的问题上可能很好，但是在更高维度上没有足够的动力和数值稳定性。

对于像这样的单个“自由”参数问题，很容易看出，构成矩阵psd的所有值的集合将是单个间隔。因此，找到这样的最小值和最大值就足够了。这可以通过数值解决一对线性半定规划（SDP）问题来轻松实现：

最小化受矩阵限制的psd。
最大化γ且矩阵为psd。

例如，可以在MATLAB下使用YALMIP来公式化和数值解决这些问题。

伽玛= sdpvar; A = [1 .6 .8; .6 1伽玛; .8伽玛1]；优化（A> = 0，伽玛）
优化（A> = 0，-gamma）

快速，简便和可靠。

顺便说一句，如果聪明的裤子面试官问这个问题不知道，SemiDefinite编程可以很好地解决这个问题，它已经发展成熟并且具有复杂且易于使用的数值优化器来可靠地解决实际问题。告诉他/她这已经不是1870年了，现在是时候利用现代计算技术的发展了。

— 马克·L·斯通
source

4

让我们考虑以下凸集

{（ X ， ÿ ， ž ） \in {[R}^{3} ： [\begin{matrix} 1个 & X & ÿ \\ X & 1个 & ž \\ ÿ & ž & 1个 \end{matrix}] ⪰ Ø_{3}}

$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$

这是一个spectrahedron命名维elliptope。这是这个椭圆形的描绘 $3$

将此椭圆形与由和定义的平面相交，我们得到一个线段，其端点用黄色着色 $x=0.6$ $y=0.8$

椭圆形的边界是由

t [\begin{matrix} 1个 & X & ÿ \\ X & 1个 & ž \\ ÿ & ž & 1个 \end{matrix}] = 1个 + 2 X ÿ ž - X^{2} - ÿ^{2} - ž^{2} = 0

$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$

如果且，则上述三次方程式可归结为二次方程式 $x=0.6$ $y=0.8$

0.96 ž - ž^{2} = ž （ 0.96 - ž ） = 0

$0.96 z - z^2 = z (0.96 - z) = 0$

因此，椭圆形与两个平面的交点是由

{（ 0.6 ， 0.8 ， Ť ） ∣ 0 \leq Ť \leq 0.96}

$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$

— 罗德里戈·德·阿兹维多
source

1

每个正半定矩阵都是一个相关/协方差矩阵（反之亦然）。

要看到这一点，请从一个正半定矩阵并进行特征分解（由于是对称的，因此由频谱定理存在）其中是正交本征向量矩阵，是对角线在对角线上具有特征值的矩阵。然后，令，其中是对角矩阵，其对数值为平方根。 $A$ $A$ $A=UDU^T$ $U$ $D$ $B= U D^{1/2} U^T$ $D^{1/2}$

然后，采取与IID均值为零，方差为1级的条目，向量，并注意也具有零均值和协方差（和相关）矩阵。 $\mathbf{x}$ $B \mathbf{x}$ $A$

现在，看到每个相关/协方差矩阵都是正半定的很简单：令为一个相关矩阵。然后，很容易看到，并且因此瑞利商对于任何非零都是非负的，因此是正半定的。 $R=E[\mathbf{x}\mathbf{x}^T]$ $R = R^T$ $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ $\mathbf{a}$ $R$

现在，注意到对称矩阵仅在特征值非负的情况下才是正半定的，我们看到您的原始方法是可行的：计算特征多项式，查看其根以查看它们是否为非负。请注意，使用西尔维斯特（Sylvester）的准则测试正定性是容易的（如另一个答案的评论中所述；当且仅当主要未成年人都具有正行列式时，矩阵才是正定）；存在半定数的扩展（所有未成年人均具有非负行列式），但是在这种情况下，您必须检查未成年人，而对于正定数则仅需检查。 $2^n$ $n$

— 蝙蝠侠
source