证明使用高斯混合的合理依据

高斯混合模型（GMM）之所以吸引人，是因为它们在分析和实践中都易于使用，并且能够建模某些奇特的分布而不会过于复杂。我们应该保留一些分析属性，这些属性通常并不明确。尤其是：

$S_n$ $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
假设我们有一个连续分布 $P$ ，我们发现了一个 $N$ 分量高斯混合 $\hat{P}$ ，它的总变化量接近 $P$ ： $\delta(P,\hat{P})<\varepsilon$ 。我们可以用约束吗？ $D(P||\hat{P})$ $\epsilon$
如果我们想通过独立的加性噪声（真实的，连续的）观察，并且我们有GMM 其中，则此值较小：即是真的，估计通过噪声约为很难，因为估计通过的噪音？ $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$
您可以针对非加性噪声模型（例如泊松噪声）执行此操作吗？

到目前为止，我的（简短的）文献综述刚刚出现了非常实用的教程。在使用混合模型的条件下，是否有人能严格证明我们的依据？

— 学位
source

GMM集合在弱拓扑中的分布集中是密集的（对应于分布的收敛）。参见例如这里。我不确定您的第一个陈述是否成立，尽管肯定需要允许混合中的零方差分量处理任何点质量。我也对第二个要点持怀疑态度，同样是由于点群众的问题。

P

$P$

— Dougal

好点，我已经指定了所有内容都应该是连续的

— eth16年

您可能会更幸运地查看有关使用高斯核的核密度估计的文献。既然您混合了高斯模型，每个样本一个，那么随着样本数量的增加，您会得到一个渐近无偏且一致的分布估计量吗？我认为答案是肯定的，但无法立即找到参考。

— Greg Ver Steeg，

@enthdegree：很好的问题。因为您想使用强拓扑（KL散度和总变异），所以对前两点的一般回答是“否”：例如，考虑一个胖尾分布；KL对任何有限的高斯混合都是无限的（我很确定这是可行的，尽管不是100％）。但是，这引出了一个更有趣的问题，所有子弹点都适用于概率分布的哪个子类？我不知道答案，但这似乎非常有趣。我的猜测是几乎所有概率分布。

— Guillaume Dehaene

我用这本书上了课。链接它在基本面方面具有一定的背景。

— EngrStudent-恢复莫妮卡

Answers:

在计量经济学中，上下文是对数模型中系数的混合分布，标准参考为：离散响应DANIEL MCFADDEN和KENNETH火车的MNL混合模型，《应用经济杂志》，J。Appl。经济。15：447-470（2000）。

— 提姆
source

关于您的问题：

对于非常相似的高斯Dirichlet过程混合的贝叶斯问题，我理解答案是肯定的。戈萨尔（2013）。
当我参加有关此主题的一些讨论时，似乎主要是利用KL分歧取得了进展。看到哈里·范·赞登的幻灯片。
我不清楚。但是，这看起来像是源分离问题（未知）。这些通常比单独的混合建模困难得多。特别是用于的简单情况下你将无法识别真实和 $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$ 由于约零分布的对称性。
参见上面链接的第四张幻灯片，其中列出了收敛保证适用的贝叶斯模型。

— 猜想
source

这是部分答案。

说是具有成分的所有高斯混合物的类别。对于实数上的任何连续分布，我们是否保证随着增长，我们可以在相对熵的意义上用损失可忽略不计的GMM 近似？即，确实 $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

不可以。你只能希望，KL散度是小的，如果你知道的尾巴是最终的顺序相同的。通常情况并非如此。不难看出，对于柯西那么对于任意， $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

更多条件 $P$ 还要说。

说，我们有一个连续分布和我们已发现一个 -component高斯混合的靠近在总变更：。我们可以结合来讲 $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$ ？

否。适用上述相同示例。

如果我们想观察通过独立的加性噪声（均为真实的，连续的），我们有的GMM 其中，则这个值很小 $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$ 即是真的，估计通过噪声约为硬如估计通过噪声？
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

我不知道。如果具有有限的均值和方差然后MMSEs是和（简单推导这里）。根据这些假设，目的是确定是否 $X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ 当很小时它很小。有关。 $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

总体而言，或者使用我们在P，Q上假设的额外加法结构，或者任何反例，我都无法证明这一点。

您可以针对非加性噪声模型（例如泊松噪声）执行此操作吗？

这是模棱两可的。在上一个问题的上下文中，如果该答案中的陈述可以得到一般证明，则答案为是。

— 学位
source