绑定三个随机变量的相关性

28

有三个随机变量。三个变量之间的三个相关性是相同的。那是， $x,y,z$

ρ = cor (x, y) = cor (x, z) = cor (y, z)

$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$

您可以为给出的最严格限制是什么？ $\rho$

correlation correlation-matrix

— 用户名
source

1

大概用“ pho”表示rho（）。但是，您的问题尚不清楚。您所说的“您能给的最严格的界限”是什么意思？

ρ

$\rho$

— gung-恢复莫妮卡

好吧，变量的名称只是一个哑元。最严格的界限，我的意思是类似[-1，1]的相关性，但这显然不是最严格的界限。

— 2013年

您是说rho = cor（x，y）= cor（x，z）= cor（y，z），rho的限制是什么？

— user31264

是的，我的意思是rho = cor（x，y）= cor（x，z）= cor（y，z），rho的限制是什么。Dilip，您能否扩展为说rho必须为非负值，即> = 0？

— 2013年

1

可以参考的一本教科书是Seber＆Lee的“线性回归分析”（至少是第一版……）

— kjetil b halvorsen

29

公共相关可以具有值但不能具有。如果，那么不能等于但实际上是。三个随机变量的公共相关性的最小值是。更一般地，当随机变量的最小公共相关性是向量时，它们位于维空间中（维）单纯形的顶点，则其最小公共相关性是。 $\rho$ $+1$ $-1$ $\rho_{X,Y}= \rho_{X,Z}=-1$ $\rho_{Y,Z}$ $-1$ $+1$ $-\frac{1}{2}$ $n$ $-\frac{1}{n-1}$ $n-1$ $n$

考虑单位方差随机变量之和的方差。我们有其中是平均值值的的的相关系数。但是由于，我们很容易从得到 $n$ $X_i$

\begin{aligned} var (\sum_{i = 1}^{n} X_{i}) & = \sum_{i = 1}^{n} var (X_{i}) + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} cov (X_{i}, X_{j}) \\ = n + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} ρ_{X_{i}, X_{j}} \\ (1) & = n + n (n - 1) \bar{ρ} \end{aligned}

$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$

\bar{ρ}

$\bar{\rho}$

(\binom{n}{2})

$\binom{n}{2}$

var (\sum_{i} X_{i}) \geq 0

$\operatorname{var}\left(\sum_i X_i\right) \geq 0$

(1)

$(1)$

\bar{ρ} \geq - \frac{1}{n - 1} .

$\bar{\rho} \geq -\frac{1}{n-1}.$

因此，相关系数的平均值 至少为 。如果所有相关系数都具有相同的值，则它们的平均值也等于，因此我们有是否可以具有公共相关值等于随机变量？是。假设是不相关的 单位方差随机变量，并设置。然后，，而 $-\frac{1}{n-1}$ $\rho$ $\rho$

ρ \geq - \frac{1}{n - 1} .

$\rho \geq -\frac{1}{n-1}.$

ρ

$\rho$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

X_{i}

$X_i$

Y_{i} = X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j} = X_{i} - \bar{X}

$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$

E [Y_{i}] = 0

$E[Y_i]=0$

var (Y_{i}) = {(\frac{n - 1}{n})}^{2} + (n - 1) {(\frac{1}{n})}^{2} = \frac{n - 1}{n}

$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ 和给出因此，是达到的最小公共相关值的随机变量。注意，顺便说一句，即，因此，被视为矢量，随机变量位于一个的维超平面

cov (Y_{i}, Y_{j}) = - 2 (\frac{n - 1}{n}) (\frac{1}{n}) + (n - 2) {(\frac{1}{n})}^{2} = - \frac{1}{n}

$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$

ρ_{Y_{i}, Y_{j}} = \frac{cov (Y_{i}, Y_{j})}{\sqrt{var (Y_{i}) var (Y_{j})}} = \frac{- 1 / n}{(n - 1) / n} = - \frac{1}{n - 1} .

$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$

Y_{i}

$Y_i$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

(n - 1)

$(n-1)$

n

$n$ 维空间。

— 迪利普·萨瓦特（Dilip Sarwate）
source

25

最严格的界限是。 $-1/2 \le \rho \le 1$ 所有这些值实际上都可以出现-没有不可能。

为了表明结果没有什么特别深刻或神秘的问题，此答案首先提出了一个完全基本的解决方案，只需要一个显而易见的事实，即方差（即平方的期望值）必须为非负数。其次是一个通用的解决方案（使用稍微复杂的代数事实）。

基本解决方案

的任何线性组合的方差必须为非负数。 $x,y,z$ 令这些变量的方差分别为和。全部都不为零（否则将不会定义某些相关性）。利用方差的基本属性，我们可以计算 $\sigma^2, \tau^2,$ $\upsilon^2$

0 \leq Var (α x / σ + β y / τ + γ z / υ) = α^{2} + β^{2} + γ^{2} + 2 ρ (α β + β γ + γ α)

$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$

对于所有实数。 $(\alpha, \beta, \gamma)$

假设，一点代数运算就意味着这等于 $\alpha+\beta+\gamma\ne 0$

\frac{- ρ}{1 - ρ} \leq \frac{1}{3} {(\frac{\sqrt{(α^{2} + β^{2} + γ^{2}) / 3}}{(α + β + γ) / 3})}^{2} .

$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$

右边的平方项是的两个幂均值的比率。所述初级功率均值不等式（与重量）声称，比不能超过（和将等于时）。然后再代数 $(\alpha, \beta, \gamma)$ $(1/3, 1/3, 1/3)$ $1$ $1$ $\alpha=\beta=\gamma\ne 0$

ρ \geq - 1 / 2.

$\rho \ge -1/2.$

下面的的显式示例（涉及变量正态变量）显示，所有这样的值实际上确实是作为相关出现的。本示例仅使用多元法线的定义，否则不调用微积分或线性代数的结果。 $n=3$ $(x,y,z)$ $-1/2 \le \rho \le 1$

一般解决方案

总览

任何相关矩阵都是标准化随机变量的协方差矩阵，因此与所有相关矩阵一样，它必须是正半定的。等效地，其特征值是非负的。这对施加了一个简单的条件：它不得小于（当然不能超过）。相反，任何这样的实际上都对应于某些三变量分布的相关矩阵，证明这些界限是最严格的。 $\rho$ $-1/2$ $1$ $\rho$

上条件的推导 $\rho$

考虑所有非对角线值均等于的 ×相关矩阵（问题涉及的情况但是这种泛化不再难于分析。）我们称其为根据定义，是的特征值，前提是存在一个非零向量使得 $n$ $n$ $\rho.$ $n=3,$ $\mathbb{C}(\rho, n).$ $\lambda$ $\mathbf{x}_\lambda$

C (ρ, n) x_{λ} = λ x_{λ} .

$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$

在本例中很容易找到这些特征值，因为

令，计算 $\mathbf{1} = (1, 1, \ldots, 1)'$

$C (ρ, n) 1 = (1 + (n - 1) ρ) 1 .$ $\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$
令仅在位置带有（对于），计算得出 $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ $j^\text{th}$ $j = 2, 3, \ldots, n$

$C (ρ, n) y_{j} = (1 - ρ) y_{j} .$ $\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$

因为到目前为止找到的特征向量跨越了整个维空间（证明：简单的行归约显示了其行列式的绝对值等于，该值非零），所以它们构成了所有特征向量的基础。因此，我们找到了所有特征值，并确定它们是或（后者具有多重）。除了众所周知的不等式满足所有相关性之外，第一特征值的非负性还意味着 $n$ $n$ $n$ $1+(n-1)\rho$ $1-\rho$ $n-1$ $-1 \le \rho \le 1$

ρ \geq - \frac{1}{n - 1}

$\rho \ge -\frac{1}{n-1}$

而第二特征值的非负性则没有施加新条件。

条件充分证明

含义在两个方向上都起作用：假设矩阵是非负定的，因此是有效的相关矩阵。例如，它是多正态分布的相关矩阵。具体来说，写 $-1/(n-1)\le \rho \le 1,$ $\mathbb{C}(\rho, n)$

Σ (ρ, n) = (1 + (n - 1) ρ) I_{n} - \frac{ρ}{(1 - ρ) (1 + (n - 1) ρ)} 1 1^{'}

$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$

对的逆时例如，当 $\mathbb{C}(\rho, n)$ $-1/(n-1) \lt \rho \lt 1.$ $n=3$

Σ (ρ, 3) = \frac{1}{(1 - ρ) (1 + 2 ρ)} (\begin{array}{ccc} ρ + 1 & - ρ & - ρ \\ - ρ & ρ + 1 & - ρ \\ - ρ & - ρ & ρ + 1 \end{array}) .

$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$

让随机变量的向量具有分布函数 $(X_1, X_2, \ldots, X_n)$

f_{ρ, n} (x) = \frac{\exp (- \frac{1}{2} x Σ (ρ, n) x^{'})}{(2 π)^{n / 2} {((1 - ρ)^{n - 1} (1 + (n - 1) ρ))}^{1 / 2}}

$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$

其中。例如，当等于 $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ $n=3$

\frac{1}{\sqrt{(2 π)^{3} (1 - ρ)^{2} (1 + 2 ρ)}} \exp (- \frac{(1 + ρ) (x^{2} + y^{2} + z^{2}) - 2 ρ (x y + y z + z x)}{2 (1 - ρ) (1 + 2 ρ)}) .

$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$

这随机变量的相关矩阵为 $n$ $\mathbb{C}(\rho, n).$

密度函数轮廓从左到右。注意密度如何从集中在平面附近转变为集中在线附近。 $f_{\rho,3}.$ $\rho=-4/10, 0, 4/10, 8/10$ $x+y+z=0$ $x=y=z$

和的特殊情况也可以通过简并分布来实现。除了要指出的是，在前一种情况下，可以认为超平面，其中它是均值均值相等的总和-正态分布，而在后一种情况下（完全正相关），它在生成的行上受支持，该行的均值为正态分布。 $\rho = -1/(n-1)$ $\rho = 1$ $\mathbf{x}.\mathbf{1}=0$ $0$ $\mathbf{1}'$ $0$

有关非变性的更多信息

对该分析的回顾清楚地表明，相关矩阵的等级为，的等级为的（因为只有一个特征向量具有非零本征值）。对于，这将使相关矩阵在任一情况下均退化。否则，它的反证明它是非退化的。 $\mathbb{C}(-1/(n-1), n)$ $n-1$ $\mathbb{C}(1, n)$ $1$ $n\ge 2$ $\Sigma(\rho, n)$

— ub
source

20

您的相关矩阵是

(\begin{matrix} 1 & ρ & ρ \\ ρ & 1 & ρ \\ ρ & ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$

如果主要的主要未成年人都是非负数，则矩阵为正半定数。主要未成年人是矩阵“西北”区块的行列式，即1是行列式的行列式

(\begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$

和相关矩阵本身的行列式

1显然是正数，第二个主要次要数是，对于任何可允许的相关性都是非负的。整个相关矩阵的行列式为 $1-\rho^2$ $\rho\in[-1,1]$

2 ρ^{3} - 3 ρ^{2} + 1.

$2\rho^3-3\rho^2+1.$

该图显示了在相关系数范围内函数的行列式。 $[-1,1]$ 在此处输入图片说明

您会看到该函数在@stochazesthai给定的范围内是非负的（您也可以通过找到行列式方程的根来检查）。

— 克里斯多夫·汉克
source

我们不是在您的答案中假设吗？为什么可以

V a r () = 1

$Var( )=1$

— 一位老人在海里。

1

@Anold您似乎正在阅读写有“ correlation”的“ covariance”。

— ub

6

当且仅当相关矩阵为正半定值时，才存在成对相关的随机变量，和。仅对会发生这种情况。 $X$ $Y$ $Z$ $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ $\rho \in [-\frac{1}{2},1]$

— Stochazesthai
source

2

您能用非常简单的方式解释一下吗？

— 伊丽莎白·苏珊·约瑟夫

1

我认为不存在不需要矩阵代数知识的解释。我建议您看一下Wikipedia页面（en.wikipedia.org/wiki/…）。

— stochazesthai 2015年

4

我找到了只需要基本（高中水平）代数的解释，并将其包括在我的答案中。