具有共轭先验：深性质还是数学事故？

有些分布具有共轭先验，有些则没有。这种区别仅仅是偶然吗？就是说，您进行数学运算，它可以以一种方式或另一种方式进行计算，但是除了事实本身之外，它没有真正告诉您关于分布的任何重要信息吗？

还是共轭先验的存在与否反映了分布的某些更深层次的性质？具有共轭先验的分布是否共享一些其他有趣的特性，或者其他分布所缺少的特性导致那些分布（而不是其他）具有共轭先验？

bayesian mathematical-statistics conjugate-prior

— 安德鲁
source

您应该知道，任何可以写为正指数族成员的分布都必须有一个共轭先验。

我们是否知道任何有趣的分布类别，这些分布肯定已被证明没有共轭先验？我知道很少有3个或更多参数的分布已知CP，但是我不确定我们是否知道这些不存在，或者只是知道我们没有找到它们。

— andrewH

有趣。可以将其视为同一参数族中操作员将后验先验运输的属性。也许更有趣的是，它可以看作是三元组的闭包属性（优先分布，采样分布，贝叶斯更新运算符）。

— JohnRos

@JohnRos。我喜欢你思考的方式。

— andrewH

关于您的开场白，请谨慎对待琐碎的先验情况，这些情况将所有质量都放在参数空间的单个值中（对推论不是很有用，是吧？）。贝叶斯定理表明，这些是每个模型的共轭先验。当然，它们代表具有“固定观念”的人的先验知识。

— 2013年

Answers:

这不是偶然的。在这里，您会找到一个简短的关于共轭先验的很好的评论。具体来说，它提到如果给定的似然函数存在一组固定维的充分统计量，则可以为此构造一个共轭。拥有一组足够的统计信息意味着您可以某种形式分解似然性，以便您以计算有效的方式估算参数。

除此之外，具有共轭先验不仅在计算上方便。它还可以进行平滑处理，并允许处理很少的样本或不使用任何先前的样本，这对于诸如决策制定之类的问题（如果您的证据很少）是必需的。

— 杰姆普克
source

我对贝叶斯统计非常陌生，但是在我看来，所有这些分布（如果不是所有分布，那么至少是那些有用的分布）都具有这样的特性：对于定义它们的观测值，使用了一些有限的度量来描述它们。。即，对于正态分布，您不需要了解每个观测值的每个细节，只需知道它们的总数和总和即可。

换句话说，假设您已经知道分布的类别/家族，那么分布的信息熵严格低于产生它的观察值。

这看似微不足道，还是您要找的东西？

— 法比奥·贝尔特拉米尼（Fabio Beltramini）
source

什么属性是“深层的”是一个非常主观的问题！因此答案取决于您的“深层”概念。但是，从某种意义上说，如果具有共轭先验是一种“深层”特性，则该意义是数学上的而非统计上的。（一些）统计学家对共轭先验感兴趣的唯一原因是他们简化了一些计算。但这对于过去的每一天来说都没有那么重要！

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

Ë {Ë （ θ ∣ X = X ）} = 一种 X + b

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ 对列出的（通常）共轭族中的参数的先前数据解释。

因此，总而言之，可以将指数族中常见的共轭familes证明为导致线性方法的先验，也可以作为代表先验数据的先验来证明。希望这个扩展的答案有所帮助！

— 凯捷蒂尔·哈沃森
source

这真的是评论，而不是答案，@ kjetil。应该将其详细说明为答案或转换为评论。

— gung-恢复莫妮卡

@gung我不愿意将这个答复转换为评论，因为它似乎可以解释为答案：它断言共轭先验的存在除了简化计算外没有什么意义。（我相信可能有理由对该断言的有效性提出异议，但不正确就等于没有回答！）

— whuber

@whuber：您认为除了计算简单性之外还有哪些原因？我将尝试扩展服务...

— kjetil b halvorsen

因为关系的显式数学表述是可以分析和理解的，而仅计算结果就是这样的结果，通常无法提供可概括的见解。这就像拥有一个可以学习和学习的国家的地图与拥有一个可以提供行车路线的纯语音GPS设备之间的区别。两者都可以将您从一个地方带到另一个地方，但是前者会告诉您更多有关您要行驶的空间的信息。

— whuber