最大后验估计的示例

我一直在阅读有关最大似然估计和最大后验估计的信息，到目前为止，我仅遇到了有关最大似然估计的具体示例。我已经找到了一些最大后验估计的抽象示例，但是还没有具体的数字：S

它可能非常庞大，只使用抽象变量和函数，并且为了不被这种抽象淹没，不时将事物与现实世界联系起来是很好的。但是，当然，这只是我（和其他一些人）的观察:)

因此，有谁能给我一个简单但具体的例子，即关于最大后验估计的数字？那会很有帮助:)

谢谢！

我最初在MSE上发布了此问题，但无法在此处得到答案：

/math/449386/example-of-maximum-a-posteriori-estimation

我已按照交叉发布此处的指示进行操作：

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

第一个例子

典型的情况是在自然语言处理的上下文中进行标记。有关详细说明，请参见此处。这个想法基本上是为了能够确定句子中单词的词法类别（是名词，形容词等）。基本思想是，您有一个语言模型，该模型由隐藏的马尔可夫模型（HMM）组成。在此模型中，隐藏状态对应于词汇类别，而观察到的状态对应于实际单词。

各个图形模型具有以下形式：

其中是句子中单词的序列，是序列标签。X = （X 1 ，。。。，X Ñ$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

一旦经过训练，目标就是找到与给定输入句子相对应的正确的词汇类别序列。这被公式化为寻找语言模型最兼容/最可能生成的标签序列，即

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

第二个例子

实际上，一个更好的例子是回归。不仅因为它更容易理解，而且因为它使最大似然（ML）和最大后验（MAP）之间的差异清晰可见。

基本上，问题在于将样本给出的某些函数与一组基函数的线性组合 其中是基函数，而是权重。通常假设样本被高斯噪声破坏。因此，如果我们假设目标函数可以精确地写成这样的线性组合，那么，$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

因此，我们有 这个问题的ML解等效于最小化，$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

得出众所周知的最小二乘误差解。现在，ML对噪声敏感，在某些情况下不稳定。MAP允许您通过对权重施加约束来选择更好的解决方案。例如，典型的例子是岭回归，您需要权重具有尽可能小的范数，

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

这等效于对权重设置高斯先验。总体而言，估计权重为$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

注意，在MAP中，权重不是ML中的参数，而是随机变量。尽管如此，ML和MAP都是点估计器（它们返回最佳的权重集，而不是最佳权重的分布）。