贝叶斯参数估计中如何选择先验

我知道3种进行参数估计的方法，即ML，MAP和贝叶斯方法。对于MAP和Bayes方法，我们需要先验参数，对吗？

假设我有这个模型，其中是参数，为了使用MAP或Bayes进行估计，我在书中读到我们最好选择一个共轭先前的，这是的联合概率，对吧？$p(x|\alpha,\beta)$$\alpha,\beta$$p(\alpha,\beta)$$\alpha,\beta$

我有两个问题：

1. 除了这个共轭数之外，我们还有其他选择吗？

2. 除了将它们组合在一起，我们是否可以像和一样分别为和选择先验？$\alpha$$\beta$$p(\alpha)$$p(\beta)$

如评论所述，先验分布表示对参数分布的先验信念。

当先前的信念实际可用时，您可以：

• 根据矩（例如均值和方差）将它们转换为适合这些矩的公共分布（例如，如果参数位于实线上，则为高斯分布；如果位于，则为Gamma ）。$R^+$
• 使用您对这些信念的直觉理解来建议给定的先验分布，并检查它是否真的符合您的目的并且对任意选择都不敏感（进行稳健性或敏感性分析）

如果没有明确的先验信念，您可以：

• 派生Jeffreys（例如统一使用位置参数）或参考优先级（尤其是在）中（如果已有的话，也可以简单地使用它，http：//www.stats.org.uk/priors/noninformative/YangBerger1998.pdf）参数的情况）。
• $g$

$p(a,b)$$p(a) \cdot p(b)$

• 请注意，您的后验几乎在所有位置（或适当位置）都是可积的，如果您使用可积先验，则这总是正确的（有关更多详细信息，请参阅贝叶斯后验是否需要适当的分布？），
• 仅当您对支持范围充满信心时才限制先前的支持（因此请避免这样做）。
• 最后但并非最不重要的一点是，请确保（大部分时间都是通过实验）确保您选择的先验条件表示您想要表达的内容。我认为，这项任务有时更为关键。永远不会忘记，在进行先验推断本身没有任何意义时，您必须考虑后验（这是先验与可能性的组合）。

还有经验贝叶斯。想法是调整先于数据：

虽然起初看起来很尴尬，但实际上与最小描述长度有关。这也是估计高斯过程内核参数的典型方法。

直接回答以上两个问题：

1. 除了共轭先验，您还有其他选择来选择非共轭先验。问题在于，如果您选择非共轭先验，则无法进行精确的贝叶斯推断（简单地说，您不能得出封闭形式的后验）。相反，您需要进行近似推断或使用诸如吉布斯采样，拒绝采样，MCMC等采样方法来推导后验。采样方法的问题在于，直观上来说，就像通过反复触摸在黑暗中绘制大象的图片一样，您可能会产生偏见且不完整。人们选择非共轭先验的原因是，在某种可能性下，共轭先验选择非常有限，或者说，大多数是非共轭的。

2. 是的，您绝对可以。如果α和β是独立的（这是理想条件），则可以通过p（α）p（β）得出它们的联合分布。如果它们不是独立的，则可能需要找出条件概率并进行积分以得出联合分布。