高斯RVs和与高斯混合之间的关系

13

我知道高斯人就是高斯人。那么，高斯混合体有何不同？

我的意思是，混合高斯只是高斯之和（每个高斯乘以各自的混合系数）对吗？

— j
source

7

高斯混合是高斯密度的加权和，而不是高斯随机变量的加权和。

— 概率

7

高斯随机变量 的加权和是高斯随机变量：if 然后是 $X_1,\ldots,X_p$

\sum_{i = 1}^{p} β_{i} X_{i}

$\sum_{i=1}^p \beta_i X_i$

(X_{1}, \dots, X_{p}) \sim N_{p} (μ, Σ)

$(X_1,\ldots,X_p)\sim\text{N}_p(\mu,\Sigma)$

β^{T} (X_{1}, \dots, X_{p}) \sim N_{1} (β^{T} μ, β^{T} Σ β)

$\beta^\text{T}(X_1,\ldots,X_p)\sim\text{N}_1(\beta^\text{T}\mu,\beta^\text{T}\Sigma\beta)$

高斯密度的混合具有作为高斯密度的加权和给出的密度：其中几乎总是不等于高斯密度。参见例如下面的蓝色估计混合物密度（其中黄色带是估计混合物变异性的量度）：

f (\cdot; θ) = \sum_{i = 1}^{p} ω_{i} φ (\cdot; μ_{i}, σ_{i})

$f(\cdot;\theta)=\sum_{i=1}^p \omega_i \varphi(\cdot;\mu_i,\sigma_i)$ 在此处输入图片说明

[来源：Marin和Robert，贝叶斯核心，2007年]。

甲随机变量与此密度，可被表示为，其中并且是带有多项式： $X\sim f(\cdot;\theta)$

X = \sum_{i = 1}^{p} I (Z = i) X_{i} = X_{Z}

$X=\sum_{i=1}^p \mathbb{I}(Z=i) X_i = X_{Z}$

X_{i} \sim N_{p} (μ_{i}, σ_{i})

$X_i\sim\text{N}_p(\mu_i,\sigma_i)$

Z

$Z$

P (Z = i) = ω_{i}

$\mathbb{P}(Z=i)=\omega_i$

Z \sim M (1; ω_{1}, \dots, ω_{p})

$Z\sim\text{M}(1;\omega_1,\ldots,\omega_p)$

— 西安
source

3

以下是一些R代码来补充@西安答案：

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

在此处输入图片说明

— 阿尔贝托
source

1

独立随机变量之和的分布是其分布的卷积。您已经注意到，两个高斯的卷积恰好是高斯。

混合模型的分布执行RV分布的加权平均值。可以通过翻转硬币（或滚动模具）以决定从哪个分布中抽取（有限）混合模型的样本：假设我有两个RV并且我想生成一个RV其分布为平均值的平均值。和如果我抛硬币，让。如果我的土地尾巴，让。 $X,Y$ $Z$ $X$ $Y$ $Z=X$ $Z=Y$

— 学位
source

谢谢。我知道以下示例本质上是错误的，但无论如何它可能很有趣：假设我们有一种特殊的“混合”（如果仍然可以称其为“混合物”），其密度为2高斯，其中混合系数都对应于1，是否等于高斯RV的总和？

— njk

不可以，尽管在这种情况下，混合rv将是高斯型，但是如果您要添加两个RV与组件的分布，则总和RV将比混合RV具有更大的方差。

— enthdegree

@enthdegree混合rv高斯如何？如果手段不一致，它仍然可能是双峰的，对吗？

— 学习

@learning，是的，您是对的。当我写上一篇。由于某种原因，我认为它们的意思相同。

— 年