指数族为什么不包括所有分布？

我正在读这本书：

主教，模式识别和机器学习（2006年）

将指数族定义为以下形式的分布（方程2.194）：

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

但是我没有看到对 $h(\mathbf x)$ 或 $\mathbf u(\mathbf x)$ 。这是否意味着通过适当选择和（实际上只有其中一个必须正确选择！），任何分布都可以采用这种形式？那么，指数族为何不包括所有概率分布呢？我想念什么？ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

最后，我感兴趣的一个更具体的问题是：伯努利分布在指数族中吗？维基百科声称是这样，但是由于我对这里的某些事情显然感到困惑，所以我想知道为什么。

mathematical-statistics exponential-family

— 别科
source

为了证明伯努利分布处于指数族中，请尝试使用

的事实，

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ 然后看一下该结果

— jld

只是为了澄清一下，您是否在问是否可以用这种形式编写任何发行版，或者是否可以用这种形式编写任何发行版系列？您似乎已经对后一个问题有了答案。

— 欧文（Owen）

@Owen是的，我现在知道这是关键点。尽管可以以这种形式编写任何发行版（通过适当设置

h (x)

$h(\mathbf x)$ ，且

g = 1, u = 0

$g=1,\mathbf u= 0$ ），但这并不意味着可以以这种形式编写任何族。

— becko '17

@becko，完全正确。文本中的“指数族”一词有些误导，因为不仅有一个指数族。相反，每个选择都会产生一个家庭。相反，许多作者都说“一个指数家族”，这一点更加清楚。例如，请参阅Wikipedia页面：en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko我认为您的论点表明，任何给定的分布都可以是指数族的一个成员，但不是任何一个分布族都可以是指数族的。

— 马修·德鲁里

Answers:

那么，你的定义的一个后果：是，支持分布的家庭通过参数索引不依赖于。（概率分布的支持是（封闭）具有概率1的最小集（或换句话说，分布所在的位置）

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$ 。）因此，只要根据参数给出一个带有支持的分布族的反例就足够了，最简单的例子是以下均匀分布族：

。（@Chaconne的另一个答案给出了更复杂的反例）。

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$

— 凯捷蒂尔·哈沃森
source

考虑非中心拉普拉斯分布

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

除非否则您将无法编写作为与某些函数之间的内积。 $\mu = 0$ $|x - \mu|$ $\mu$ $x$

指数族确实包含了我们通常遇到的绝大多数漂亮的命名分布，因此乍一看似乎它具有所有感兴趣的内容，但绝不是穷尽的。

— jld
source