两个高斯加权混合的方差是多少？

假设我有两个正态分布A和B，均值和以及方差和。我想使用权重和对这两个分布进行加权混合，其中和。我知道这种混合的平均值是。 $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

差异是多少？

一个具体的例子是，如果我知道男女身高分布的参数。如果我的房间里有60％是男性，那么我可以得出整个房间的预期平均身高，但是方差又如何呢？

normal-distribution mixture

— 乔弗洛德
source

再术语：混合仅具有均值和方差；除非将

p

$p$ 和

q

$q$ 视为随机变量，否则将它们限定为“预期”是没有意义的。

— ub

我知道两个高斯分布的混合是可识别的。但是，如果两个发行版具有相同的emans？即：是否可以确定具有相同均值和不同标准偏差的两个正态分布的混合？在这种情况下有论文吗？在此先感谢

这里有一个类似的问题，带有答案（也可以通过COVARIANCES进行处理）：math.stackexchange.com/q/195911/96547

— hplieninger

方差是第二矩减去第一矩的平方，因此足以计算混合矩。

通常，在给定具有PDF和恒定（非随机）权重的分布的情况下，混合物的PDF为 $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

从它紧跟任何时刻那 $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

我已经写为的时刻和为时刻的。 $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

使用这些公式，可以写出方差

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

等效地，如果的方差为，则，使混合物的方差可以用方差及其成分的均值表示为 $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

换句话说，这是（加权）平均方差加上平均平方均值减去平均均值的平方。由于平方是凸函数，因此Jensen不等式断言，均方根的平均值不得小于均方根的平方。这使我们能够理解公式，因为它说明混合的方差是方差加上一个非负项的混合，说明了均值（加权）色散。

你的情况是

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

我们可以解释为这是两个方差的加权混合，加上（必要为正）校正项，以说明各个均值相对于整个混合均值的变化。 $p_A\sigma_A^2 + p_B\sigma_B^2$

这种差异在解释数据（例如问题）中的效用令人怀疑，因为混合物的分布将不会是正态的（并且可能会偏离正态分布，达到表现出双峰的程度）。

— ub
source

特别是，注意，您的最后一个表达式简化为。

p_{A} + p_{B} = 1

$p_A+p_B=1$

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$

— Ilmari Karonen

或者，如果我们做强加一个概率解释的混合物密度（有事件 probabiity的和有条件的密度给出是，而条件的密度给出是），则var是条件方差的均值加上条件均值的方差之和。后者是具有值且具有概率和的离散RV

A

$A$

p_{A}

$p_A$

X

$X$

A

$A$

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$

X

$X$

A^{c} = B

$A^c = B$

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$

(X)

$(X)$

Y

$Y$

μ_{A}, μ_{B}

$\mu_A, \mu_B$

p

$p$

q

$q$ 并且方括号中的表达式很容易识别为。

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$

— Dilip Sarwate 2015年

@Neodyme根据定义，方差是第二矩减去均方。因此，第二个时刻是方差加上均方。

— ub

@Neodyme使用。

E (X) = μ

$E(X)=\mu$

— ub

@Kiran尽管在某些情况下混合物可能看起来像是 Normal（正常），但事实并非如此。一种查看方法是使用此处给出的公式来计算其过量峰度。除非所有标准偏差都相等，否则它将为非零-在这种情况下，“混合物”首先并不是真正的混合物。

— ub