在统计方面正交是什么意思？

60

在其他情况下，正交是指“成直角”或“垂直”。

正交在统计上下文中是什么意思？

感谢您的任何澄清。

descriptive-statistics

— pmgjones
source

2

谢谢你的问题。我问了一个更笼统的问题：在所有正交情况下有什么共同点。我还想知道统计独立性如何满足此属性？physics.stackexchange.com/questions/67506

— Val

5

令我惊讶的是，这里没有一个答案提到通常是指该词的数学“线性代数”含义。例如，当我们说“正交变量集”时，通常意味着表示具有变量的矩阵。也使用“正交”。

X^{T} X = I

$X^{T}X=I$

X

$X$

— 概率

4

概率“正交”对具有二次形式 的向量空间有含义：当且仅当两个向量和正交。“正交”是指除了该。因此，“正交”和“正交”既不是同义词，也不限于有限矩阵。（例如，和可能是希尔伯特空间的元素，例如经典量子力学中上复值函数的空间。）

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

— Whuber

此链接可能有助于理解正交性和相关性的（非）联系。alecospapadopoulos.wordpress.com/2014/08/16/...

— RBirkelbach

越来越多的不同（但正确）的答案表明这是一个不错的CW线程。

— ub

-16

这意味着它们[随机变量X，Y]彼此“独立”。独立随机变量通常被视为彼此成“直角”，其中“直角”表示两者的内积为0（线性代数的等价条件）。

例如，在XY平面上，X和Y轴被认为是正交的，因为如果给定点的x值发生变化，例如从（2,3）变为（5,3），则其y值将保持不变（3），反之亦然。因此，这两个变量是“独立的”。

另请参阅Wikipedia关于独立性和正交性的条目

— 疯狂的乔
source

24

因为相关性和缺乏依赖性之间的区别很重要，所以将正交性与独立性等同起来并不是一件好事。

— ub

由于OP和Answerer都不活跃超过一年，因此可能值得对其进行编辑以至少使其成为一个明确的答案。我已经尝试过了。

— 阿萨德·易卜拉欣2014年

1

统计中对此的一个常见反例是PCA与ICA，其中PCA强制正交，而ICA使独立性最大化。

— 2014年

5

对于主持人：这个好问题，非常受欢迎的问题“卡住”了答案，以至于许多人的思想会被更好地降级（当前得分-4），这是一个耻辱。由于OP和Answerer都没有活跃超过一年，因此可以删除“已接受”检查，并将问题保留为“未解决”。以下更完整的答案不言而喻。

— 阿萨德·易卜拉欣

1

@Assad mods无法删除OP的接受。那是OP的省。

— Glen_b

33

我无法发表评论，因为我没有足够的观点，所以我不得不说出我的想法作为答案，请原谅我。据我所知，我不同意@crazyjoe选择的答案，因为正交性定义为

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

所以：

如果带有对称pdf），则它们是相关的但正交的。 $Y=X^2$

如果但对于负值pdf为零，则它们依赖但不正交。 $Y=X^2$

因此，正交性并不意味着独立性。

— 用户497804
source

2

的星号（星号）是什么？

Y^{*}

$Y^{*}$

— 莫肯2014年

2

@mugen，可能表示复共轭。

— A. Donda

对自我（可能还有对他人）的注意-我相信（对于实值函数，我们可以消除复共轭（？））是随机变量和的内积，定义为他们的pdf乘积的期望值：

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

— Antoni Parellada

21

如果X和Y是独立的，则它们是正交的。但是相反，正如user497804的聪明示例所指出的那样，事实并非如此。有关确切定义，请参阅

正交：如果满足则复数随机变量和被称为正交 $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

（第376页，Geoffrey Grimmett和David Stirzaker的概率和随机过程）

独立的： 随机变量和是独立的，当且仅当所有 $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

对于连续随机变量，这等效于要求 $f(x,y) = f_X(x)f_Y(y)$

（第99页，Geoffrey Grimmett和David Stirzaker的概率和随机过程）

— 纳雷什
source

21

@Mien已经提供了答案，正如@whuber指出的那样，正交意味着不相关。但是，我真的希望人们能提供一些参考。您可能会认为以下链接很有用，因为它们从几何角度解释了相关性的概念。

— Bernd Weiss
source

1

第二个链接解释了我想知道的所有内容。谢谢！:)

— Lenar Hoyt 2014年

当且仅当居中变量和为正交时，实值随机变量X和Y是不相关的。[ref]X-E(X)Y-E(Y)

— knedlsepp

1

@Bernd前两个链接不起作用。

— 不知所措的

@overwhelmed我猜这是第二个链接指向的文章。

— 乔什·奥布莱恩

8

NIST网站（参见下面的参考文献）对正交的定义如下：“如果任何因素的影响在其他因素的影响之间达到平衡（总和为零），则实验设计是正交的。”

在统计设计中，我将正交理解为“未共同创建”或“未别名”。如果要确保可以清楚地识别出不同的因素/处理方法，那么在设计和分析实验时这一点很重要。如果您设计的实验不是正交的，则意味着您将无法完全区分不同治疗的效果。因此，您将需要进行后续实验以消除影响。这将被称为增强设计或比较设计。

由于在设计和分析的许多其他方面都使用了独立性，因此似乎不太适合选择单词。

NIST参考 http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— 克里斯
source

3

+1用于介绍实验设计环境。这里应该使用“正交”一词，因为它实际上与数学概念完全相同：代表实验中因素的（列）向量被视为欧几里德空间的元素，实际上将是正交的（右侧正交设计中的角度，零点积）。

— ub

2

如果说“正交”，很可能表示“无关”。如果两个因子正交（例如在因子分析中），则它们是不相关的，则它们的相关性为零。

— 面
source

3

相关系数是（或自然可以解释为）一个角度的余弦。当它为零时，您认为角度是多少？:-) 不相关也并不意味着无关！

— whuber

我并不是说您错了，但是您可以举一个不相关和不相关的例子吗？或相反亦然？我不确定我是否了解其中的区别。

— Mien

是的，我知道那个角度是90°。直角是正交的。

— Mien

5

令为一个随机变量，以等概率取值，令。和之间的相关性是，但显然它们是相关的：是的函数。

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

— 假设正常的2011年

是的，谢谢。但是，相反的情况是不可能的（如果没有第三个变量或类似的变量）？

— Mien

2

根据http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf，线性独立性是正交性或不相关性的必要条件。但是还有更好的区别，特别是正交性不是不相关的。

— 用户名
source

1

我问了一个类似的问题，正交性和RVs乘积的期望之间是什么关系，我在这里重现答案。尽管正交性是线性代数的一个概念，它意味着两个向量的点积为零，但该术语有时在统计中被宽松地使用，并且表示不相关。如果两个随机向量是正交的，则它们的集中对应向量是不相关的，因为正交性（点积为零）表示集中的随机向量不相关（有时人们说正交性表示交叉矩为零）。每当我们有两个随机向量，我们始终可以将它们集中在均值周围，以使它们的期望为零。假设正交性（ $(X,Y)$ $X\cdot Y=0$ ），则集中式随机变量的相关性为

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Diogo
source

1

在计量经济学中，正交性假设意味着所有误差之和的期望值为0。回归变量的所有变量均与其当前误差项正交。

在数学上，正交性假设为。 $E(x_{i}·ε_{i}) = 0$

简单来说，它意味着回归器与误差项“垂直”。

— 利奥波德W.
source

-2

两个或多个IV彼此无关（独立），但都对DV有影响。每个IV分别为结果贡献一个独特的价值，而两个IV或所有IV都以相加方式贡献收入的预测（正交=不相交的IV对DV的影响）。IV之间互不相关，通常以直角放置*请参阅维恩图。

示例：动机与收入受教育年限之间的关系。

IV =受教育年限IV =动机DV =收入

https://onlinecourses.science.psu.edu/stat505/node/167

— 拍
source

-2

相关的随机变量意味着变量X和Y可以具有任何关系；可以是线性或非线性的。如果两个变量线性相关，则独立性和正交属性相同。

— 苏布拉玛尼
source

2

这将使crazyjoe犯下的错误永远存在：正交性并不意味着独立性，除非变量共同地呈正态分布。

— ub