贝叶斯定理满足期望吗？

18

的确，对于两个随机变量 $A$ 和， $B$

E (A ∣ B) = E (B ∣ A) \frac{E (A)}{E (B)} ?

$E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?$

bayesian mathematical-statistics

— 汤姆卡
source

3

嗯...我不认为这两个方面是等效的

— Jon

6

正如答案中指出的那样，由于一侧随机变量是另一侧的条件变量，因此该问题在概率上毫无意义。

— 西安

25

\begin{matrix} (1) & E [A ∣ B] \overset{?}{=} E [B ∣ A] \frac{E [A]}{E [B]} \end{matrix}

$E[A\mid B] \stackrel{?}= E[B\mid A]\frac{E[A]}{E[B]} \tag 1$ 对于具有非零均值的独立随机变量

和

，推论结果

(1)

$(1)$ 完全成立。

A

$A$

B

$B$

如果 $E[B]=0$ ，则的右侧 $(1)$ 包括除以 $0$ ，因此 $(1)$ 毫无意义。注意， $A$ 和 $B$ 是否独立无关紧要。

通常， $(1)$ 不适用因变量，但可以找到满足的因变量 $A$ 和特定示例。注意，我们必须继续坚持，否则的右边是没有意义的。请记住，是一个随机变量，恰好是随机变量的函数，例如 $B$ $(1)$ $E[B]\neq 0$ $(1)$ $E[A\mid B]$ $B$ $g(B)$ 而 $E[B\mid A]$ 是一个随机变量，是随机变量的函数，例如。因此，类似于询问是否 $A$ $h(A)$ $(1)$

\begin{matrix} (2) & g (B) \overset{?}{=} h (A) \frac{E [A]}{E [B]} \end{matrix}

$g(B)\stackrel{?}= h(A)\frac{E[A]}{E[B]} \tag 2$ 可以是一个正确的语句，显然答案是

g (B)

$g(B)$ 通常不能是

的倍数

h (A)

$h(A)$ 。

据我所知，只有两种特殊情况 $(1)$ 可以成立。

如上所述，对于独立的随机变量 $A$ 和 $B$ ， $g(B)$ 和 $h(A)$ 是分别等于和简并随机变量（被统计上不识字的人称为常数），因此如果，我们在相等。 $E[A]$ $E[B]$ $E[B]\neq 0$ $(1)$
在与独立性相反的频谱的另一端，假设 $A=g(B)$ ，其中 $g(\cdot)$ 是可逆函数，因此 $A=g(B)$ 和 $B=g^{-1}(A)$ 是完全相关的随机变量。在这种情况下，
$E [A ∣ B] = g (B), E [B ∣ A] = g^{- 1} (A) = g^{- 1} (g (B)) = B$ $E[A\mid B] = g(B), \quad E[B\mid A] = g^{-1}(A) = g^{-1}(g(B)) = B$ 等 $(1)$ 变为 $g (B) \overset{?}{=} B \frac{E [A]}{E [B]}$ $g(B)\stackrel{?}= B\frac{E[A]}{E[B]}$ 持有什么时候 $g(x) = \alpha x$ ，其中 $\alpha$ 可以是任意非零实数。因此，只要是的标量倍数，则 $(1)$ 成立，当然必须为非零（参见Michael Hardy's answer）。上面的发展表明必须是线性函数，并且不能用于仿射 $A$ $B$ $E[B]$ $g(x)$ $(1)$ 功能 $g(x) = \alpha x + \beta$ 与 $\beta \neq 0$ 。但是，请注意阿莱科斯·Papadopolous在他的回答，然后他的评论的权利要求，如果 $B$ 是一个正常的随机变量非零均值，则对于具体的值 $\alpha$ 和 $\beta\neq 0$ ，他提供， $A=\alpha B+\beta$ 和 $B$ 满足 $(1)$ 。我认为他的榜样是不正确的。

在对此答案的评论中，Huber建议考虑对称猜想等式其中当然总是为独立随机变量保持而不管该值的和和用于标量倍数也。当然，成立

\begin{matrix} (3) & E [A ∣ B] E [B] \overset{?}{=} E [B ∣ A] E [A] \end{matrix}

$E[A\mid B]E[B] \stackrel{?}=E[B\mid A]E[A]\tag{3}$

E [A]

$E[A]$

E [B]

$E[B]$

A = α B

$A = \alpha B$

(3)

$(3)$ 任何 零均值随机变量

和

（独立或相关，标量倍数与否；无所谓！）：

足以满足

。因此，

可能不像

那样有趣。

A

$A$

B

$B$

E [A] = E [B] = 0

$E[A]=E[B]=0$

(3)

$(3)$

(3)

$(3)$

(1)

$(1)$

— 迪利普·萨瓦特（Dilip Sarwate）
source

9

+1。慷慨地说，该问题可以解释为询问

，除以零的问题就消失了。

E (A | B) E (B) = E (B | A) E (A)

$E(A|B)E(B)=E(B|A)E(A)$

— whuber

1

@whuber谢谢。我的编辑地址更普遍的问题，即是否有可能有

。

E [A ∣ B] E [B] = E [B ∣ A] E [A]

$E[A\mid B]E[B]=E[B\mid A]E[A]$

— Dilip Sarwate'2

11

结果通常是不正确的，让我们在一个简单的示例中看到这一点。令具有参数的二项式分布和具有参数的beta分布，即具有共轭先验的贝叶斯模型。现在只计算公式的两边，左边是，右边是 $X \mid P=p$ $n,p$ $P$ $(\alpha, \beta)$ $\DeclareMathOperator{\E}{\mathbb{E}} \E X \mid P = nP$ ，而这些都是肯定不相等。

E (P ∣ X) \frac{E X}{E P} = \frac{α + X}{n + α + β} \frac{α / (α + β)}{n α / (α + β)}

$\E( P\mid X) \frac{\E X}{\E P} = \frac{\alpha+X}{n+\alpha+\beta} \frac{\alpha/(\alpha+\beta)}{n\alpha/(\alpha+\beta)}$

— 克吉蒂尔·哈沃森
source

2

随机变量的条件期望值给出的事件是一个数字，取决于什么数是。因此，将其称为那么条件期望值是它的值完全由随机变量的值确定。因此，是和 $A$ $B=b$ $b$ $h(b).$ $\operatorname{E}(A\mid B)$ $h(B),$ $B$ $\operatorname{E}(A\mid B)$ $B$ 是的函数。 $\operatorname{E}(B\mid A)$ $A$

商数只是一个数字。 $\operatorname{E}(A)/\operatorname{E}(B)$

因此，建议的相等性的一侧由决定，另一侧由，因此它们通常不能相等。 $A$ $B$

（也许我应该补充说，他们可以在简单的情况相等时的值和确定彼此，因为当例如，和，当 $A$ $B$ $A = \alpha B, \alpha \neq 0$ $E[B]\neq 0$ 但是仅在几个点上彼此相等的函数不相等。）

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

— 迈克尔·哈迪
source

您是说它们不一定相等吗？我的意思是他们可以平等吗？

— BCLC '17

1

@BCLC：仅在平凡的情况下它们才相等。并且两个函数在某些点彼此相等，而在另一些点彼此不相等。

— Michael Hardy

2

“但是只有在这种微不足道的情况下，它们才能相等”（强调）。考虑独立

和

与

。然后，

而

等

A

$A$

B

$B$

E [B] \neq 0

$E[B]\neq 0$

E [A ∣ B] = E [A]

$E[A\mid B] = E[A]$

E [B ∣ A] = E [B]

$E[B\mid A] = E[B]$

E [B ∣ A] \frac{E [A]}{E [B]} = E [B] \frac{E [A]}{E [B]} = E [A] = E [A ∣ B] .

$E[B\mid A] \frac{E[A]}{E[B]} = E[B]\frac{E[A]}{E[B]} = E[A] = E[A\mid B].$

— Dilip Sarwate'2

@DilipSarwate我正要说哈哈！

— BCLC '17

我编辑了您的答案，为您指出的情况添加了一些细节。如果您不喜欢所做的更改，请回滚。

— Dilip Sarwate '02

-1

该表达肯定不会普遍适用。有趣的是，我在下面显示，如果和共同遵循双变量正态分布，并且具有非零均值，则当两个变量彼此为线性函数且具有相同的变异系数时，结果将成立。标准偏差与平均值之比）的绝对值。 $A$ $B$

对于共同的法线，我们有

E (A ∣ B) = μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B})

$\operatorname{E}(A \mid B) = \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B)$

我们想强加

μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = [μ_{B} + ρ \frac{σ_{B}}{σ_{A}} (A - μ_{A})] \frac{μ_{A}}{μ_{B}}

$\mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \left[\mu_B + \rho \frac{\sigma_B}{\sigma_A}(A - \mu_A)\right]\frac{\mu_A}{\mu_B}$

⟹ μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = μ_{A} + ρ \frac{σ_{B}}{σ_{A}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$\implies \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \mu_A + \rho \frac{\sigma_B}{\sigma_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

简化，然后，并重新安排得 $\mu_A$ $\rho$

B = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$B = \mu_B +\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

因此，这是两个变量之间必须保持的线性关系（因此它们肯定是相关的，相关系数绝对值等于1），以便获得所需的相等性。这意味着什么？

首先，还必须满足

E (B) \equiv μ_{B} = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (E (A) - μ_{A}) ⟹ μ_{B} = μ_{B}

$E(B) \equiv \mu_B = \mu_B+\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(E(A) - \mu_A) \implies \mu_B = \mu_B$

因此，除（或）的平均值非零外，不会对（或）的平均值施加其他限制。同样必须满足方差关系， $B$ $A$

Var (B) \equiv σ_{B}^{2} = {(\frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}})}^{2} Var (A)

$\operatorname{Var}(B) \equiv \sigma^2_B = \left(\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}\right)^2\operatorname{Var}(A)$

⟹ {(σ_{A}^{2})}^{2} σ_{B}^{2} = {(σ_{B}^{2})}^{2} σ_{A}^{2} {(\frac{μ_{A}}{μ_{B}})}^{2}

$\implies \left(\sigma^2_A\right)^2\sigma^2_B = \left(\sigma^2_B\right)^2\sigma^2_A\left(\frac{\mu_A}{\mu_B}\right)^2$

⟹ {(\frac{σ_{A}}{μ_{A}})}^{2} = {(\frac{σ_{B}}{μ_{B}})}^{2} ⟹ ({cv}_{A})^{2} = ({cv}_{B})^{2}

$\implies \left(\frac{\sigma_A}{\mu_A}\right)^2 = \left(\frac{\sigma_B}{\mu_B}\right)^2 \implies (\text{cv}_A)^2 = (\text{cv}_B)^2$

⟹ | {cv}_{A} | = | {cv}_{B} |

$\implies |\text{cv}_A| = |\text{cv}_B|$

这将被显示。

请注意，以绝对值表示的变异系数相等，可以使变量具有不同的方差，并且，一个变量具有正均值，另一个具有负均值。

— 阿莱科斯·帕帕多普洛斯
source

1

这不是一个令人费解的方式

其中

是一些标？

A = α B

$A = \alpha B$

α

$\alpha$

— 马修·冈恩

1

@MatthewGunn您的评论正确无误。常态与这件事无关。对于随机变量

和

使得

，

并且类似地，

。因此，假设

，

A

$A$

B

$B$

A = α B

$A = \alpha B$

E [A ∣ B] = α B = A

$E[A\mid B] = \alpha B = A$

E [B ∣ A] = B

$E[B\mid A] = B$

E [B] \neq 0

$E[B]\neq 0$

不正常，没有

等等，实际上只是在迈克尔·哈迪（Michael Hardy）的回答中重新表达评论。

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

| c v_{A} | = | c v_{B} |

$|cv_A|=|cv_B|$

— Dilip Sarwate'2

如果你写\文本{VAR} instaed \ operatorname {VAR}然后你会看到

和

，而不是

和

这就是为什么后者是标准用法。

a Var X

$a\text{Var}X$

a Var (X)

$a\text{Var}(X)$

a Var X

$a\operatorname{Var}X$

a Var (X) .

$a\operatorname{Var}(X).$

— Michael Hardy

@MatthewGun在我看来，提供包含特定示例的答案被认为是本网站中的宝贵内容。所以是的，当一个随机变量是另一个变量的仿射函数，并且它们以非零均值联合正常时，则一个变量需要具有相等的变异系数，同时，对这些rv的均值也没有限制。另一方面，当随机变量只是另一个的线性函数时，该关系始终成立。因此，没有我的答案不是说

的复杂方法。（cc：@DilipSarwate）

A = a B

$A=aB$

— Alecos Papadopoulos

2

如果

是一个非正常与随机变量

和

（等

B

$B$

E [B] = μ_{B} \neq 0

$E[B]=\mu_B\neq 0$

A = c B + d

$A=c B+d$

），然后

B = \frac{A - d}{c}

$B=\frac{A-d}{c}$

现在，如果我们希望有

等于

E [A ∣ B] = c B + d = A, E [B ∣ A] = \frac{A - d}{c} = B .

$E[A\mid B]=cB+d=A, E[B\mid A]=\frac{A-d}{c}=B.$

E [A ∣ B] = c B + d

$E[A\mid B]=cB+d$

，它必须是

E [B ∣ A] \cdot \frac{μ_{A}}{μ_{B}} = B \cdot \frac{μ_{A}}{μ_{B}}

$E[B\mid A]\cdot\frac{\mu_A}{\mu_B} =B\cdot\frac{\mu_A}{\mu_B}$

等

c B + d = B \cdot \frac{μ_{A}}{μ_{B}} ⟹ d = 0, c = \frac{μ_{A}}{μ_{B}}

$cB+d=B\cdot\frac{\mu_A}{\mu_B}\implies d=0,c=\frac{\mu_A}{\mu_B}$

。因此，对于非正常

处，OP的猜想结果认为，如果

但如果

。当然，因为你已经证明，结果适用于正常的随机变量，如果

。

A = c B = \frac{μ_{A}}{μ_{B}} B

$A=cB=\frac{\mu_A}{\mu_B}B$

B

$B$

A = c B

$A=cB$

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$

— Dilip Sarwate'2