高斯混合模型的不同协方差类型


13

这里尝试使用高斯混合模型时,我发现了这4种协方差。

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

我在Google上进行了大量搜索,以找到有关每种类型的更多详细信息,但仅找到了非常高级的描述(例如this)。

欣赏有人可以帮助我理解这些内容,或者至少将我引导到可以阅读这些内容的地方。

Answers:


17

高斯分布完全取决于其协方差矩阵及其均值(空间中的位置)。高斯分布的协方差矩阵确定其密度轮廓的轴的方向和长度,所有这些都是椭圆形。

(0,0)(4,5)3/52/5

数字

单击图像将以更高的分辨率显示版本。

注意这些是实际混合物的图,而不是各个成分的图。由于各组分之间的分隔良好且重量相当,因此混合物轮廓与组分轮廓非常相似(除非处于低水平,否则它们可能变形和合并,例如在“并列”图的中心所示)。

  • 完全表示组件可以独立采用任何位置和形状。

  • 意味着它们具有相同的形状,但是形状可以是任何形状。

  • 对角线表示轮廓轴沿坐标轴定向,但否则,各组件之间的偏心率可能会有所不同。

  • 捆绑对角线是“捆绑”情况,其中轮廓轴沿坐标轴定向。(我添加了此内容是因为最初是我错误地解释“对角线”的原因。)

  • 球形是具有圆形轮廓(在较大尺寸中为球形,因此得名)的“对角线”情况。

nn(n+1)/2


好答案。谢谢。最后一个问题。这是仅有的四种类型吗?还是还有其他类型?
蜜蜂

1
1

谢谢。我只是比较了帖子中引用的描述和您的回答。在我的系统中,“绑定”是所有组件唯一共享的一个。但是在您看来,“全”似乎是唯一一个不被每个组件共享的组件。我只是觉得这两个是矛盾的。(我确定我缺少了什么)。您介意解释吗?非常感谢。
蜜蜂

我没有看到任何矛盾:我已经忠实地代表了您概述的条件。实际上,我没有引用任何其他来源来创建这些图像。
whuber

1
谢谢-我明白您的意思。我将更新说明以反映这一点。
ub
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.