指数族的优点:为什么我们要研究和使用它?


19

所以我在这里研究推理。我希望有人可以列举指数家庭的优势。对于指数族,我的意思是给定为

FX|θ=HX经验值{ηθŤX-θ}

其支持不取决于参数。我发现了一些优点:θ

(a)它包括各种各样的分布。

(b)根据Neyman-Fisher定理,它提供了自然足够的统计量。ŤX

(c)可以为的矩生成函数提供一个很好的公式。ŤX

(d)可以轻松地将响应和预测变量之间的关系与响应的条件分布(通过链接函数)分离。

谁能提供其他优势?


1
确保答案的通用性:是否存在指数族以外的有用PDF?
meduz

Answers:


21

...我们为什么要研究和使用它?

我认为您的优势列表可以有效回答您自己的问题,但是让我提供一些可以阐明该主题的超数学评论。一般来说,数学家喜欢将概念和结果推广到最大程度,以达到其最大用处。。也就是说,当数学家提出一个概念并发现一个或多个有用的定理适用于该概念时,他们通常将寻求对该概念和结果进行泛化,直到他们达到进一步泛化将使结果不适用的地步。或不再有用。从列表中可以看出,指数族具有许多有用的定理,并且涵盖了广泛的分布类别。这足以使它成为值得研究的对象,并在实践中成为有用的数学课。

谁能提供其他优势?

该类在贝叶斯分析中具有各种良好的属性。特别是,指数族分布始终具有共轭先验,并且所得后验预测分布具有简单形式。这使得贝叶斯统计中的分布非常有用。确实,它使您能够以极高的普遍性使用共轭先验进行贝叶斯分析,涵盖指数族中的所有分布族。


5
我第二次提名“共轭先验”作为喜欢指数族的理由。的确,共轭先验和足够的统计量一起很好地发挥作用,因此它们一起在使用指数族的原因列表中居于首位。
彼得·利奥波德

啊! 我看到一个贝叶斯同学!
恢复莫妮卡

您怎么知道后验预测有一个简单的形式?例如,具有未知均值和方差的正常模型的后验预测是非中心的,按比例缩放的学生的T。这是一种简单的形式吗?
尼尔·G

@Neil G:使用指数族的IID数据和共轭先验,预测分布是先验归一化函数的两个实例的比率,其中分母自变量通过添加足够的统计量和观察次数来更新新数据。这是一种简单且通用的预测分布形式,可以通过找到先验共轭因子的归一化因子来获得(例如,参见这些说明的 9.0.5节)。
恢复莫妮卡

1
知道了 谢谢,我以前从未见过。
Neil G

2

我要说的是,指数族的最引人注目的动机是,给定测量值,它们是最小的假设分布。如果您有一个实值传感器,其测量值通过均值和方差来概括,那么您可以对它的观测值做出的最小假设是它们是正态分布的。每个指数族是一组相似假设的结果。

杰恩斯(Jaynes)避免了最大熵这个原则:

“最大熵分布可以被肯定的理由是,它被唯一地确定为对于丢失的信息最大不置可否的东西,而不是没有理由不这样做的负面信息。因此,熵的概念提供了选择的缺失标准……”

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.