MAP是

我在其中一门在线课程中遇到了这些幻灯片（第16和＃17号幻灯片）。讲师试图解释最大后验估计（MAP）实际上是解决方案$L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]$，其中$\theta^{*}$是真实参数。

有人可以解释一下如何进行吗？

编辑：添加了幻灯片，以防链接断开。

通过浏览您共享的幻灯片，在我看来，这个主意是要解释如何使用MAP估计来估计后验的不同属性，例如均值，众数和中位数。我将尝试在斯蒂芬·M·凯（Stephen M.Kay）的书《统计信号处理基础》中介绍的通用贝叶斯估计器的背景下对此进行解释。

让我们从考虑与估计参数$\theta$相关的三种风险（即成本函数）开始：

1. $C(e) = e^2$
2. $C(e) = |e|$
3. $if -\delta < e < \delta, C(e)=0$ ; 否则$C(e)=1$

其中，$e = \theta - \hat{\theta}$，其中θ是所述估计值和θ是真实参数。在贝叶斯估计中，目标是最大程度地降低预期风险，即：$\hat{\theta}$$\theta$

$E[C(e)]= \int_X \int_{\theta} C(e)p(X,\theta)d\theta dX = \int_X \left[\int_\theta C(e)p(\theta|X)d\theta\right] p(X)dX$

因为我们只关心$\theta$，我们将集中于内积分$\min_{\theta}\int_\theta C(e)p(\theta|X)d\theta$。

现在，根据我们选择的$C(e)$，估计器将为我们提供后验的不同属性。例如，如果我们选择第一种情况下，$C(e) = e^2$，则最小化$\theta$为$\int_\theta C(e)p(\theta|X)d\theta$，是平均。因为你的问题是关于指示器功能$I[\hat{\theta}\ne \theta]$，我将解决上面提到的第三种风险（如果您考虑$\delta\rightarrow 0$，等同于使用指标）。

对于上述情况3：

$\int_\theta C(e)p(\theta|X)d\theta = \int_{-\infty}^{\hat{\theta}-\delta}p(\theta|X)d\theta + \int_{\hat{\theta}+\delta}^{\infty}p(\theta|X)d\theta = 1 - \int_{\hat{\theta}+\delta}^{\hat{\theta}+\delta}p(\theta|X)d\theta$

这对于$\delta \rightarrow 0$时为最小θ对应于后的模式。$\hat{\theta}$

在具体情况下的参数空间是有限的或可数无限Θ = { θ 1，θ 2，... }与指示器相关联的损失后损耗等于被错误的概率P（θ ≠ θ | X ）和当的是正确的后验概率它最小化P（θ = θ | X ）被最大化。这意味着，θ是后验分布或MAP的模式。$\Theta$

$$\Theta=\{\theta_1,\theta_2,\ldots\}$$ $\mathbb{P}(\hat{\theta}\ne\theta|x)$$\mathbb{P}(\hat{\theta}=\theta|x)$$\hat{\theta}$

然而，MAP的这种关系，并的损失是“无名氏定理”，它是在最不正确的设置，也就是说，它并不适用于连续参数空间，其中P（θ = θ | X ）= 0所有θ的，并与结果进一步的冲突Druihlet和马林（BA，2007年），谁指出，MAP最终取决于主导措施的选择。（即使Lebesgue度量被隐式选择为默认值。）$0-1$$\mathbb{P}(\hat{\theta}=\theta|x)=0$$\hat{\theta}$

例如，Evans和Jang 在2011年发表了一份arXiv论文，讨论了MAP，最小相对意外（或最大轮廓似然）估计量和损失函数之间的联系。问题的核心是，至少在连续参数空间中，无论是MAP估计器还是MLE都没有真正通过决策理论方法证明其合理性。正如Druihlet和Marin在2007年所证明的那样，在参数空间上任意选择的支配度量会影响MAP的值。它们以损失函数 ，其中他们考虑通过d来估计变换Ψ（θ），并由该变换的边际先验反加权。在身份变换的特殊情况下，此损失函数导致MLE作为贝叶斯估计器。在一般情况下，贝叶斯估计器是最大轮廓似然估计器（LRSE）。但是，这种损失函数不能推广到无数（显然是连续的）参数空间，在这种情况下，作者只能提供LRSE作为贝叶斯程序的极限。在可数情况下采用的损失函数例如是 L（θ ，d ）= I { Ψ

$$\mathrm{L}(\theta,d) = \mathbb{I}\{\Psi(\theta) \ne d) / \pi_\Psi(\Psi(\theta))$$ 与结合地降低到零。在连续的情况下，指示器不再起作用，因此作者的选择是通过特定选择直径λ为零的球的分隔来离散化空间Ψ（Θ）。按照Druihlet和Marin的精神，这种选择取决于度量标准（以及其他规则性条件）。此外，LRSE本身 最大ψ π ψ（ψ | X ）/ π ψ（ $$\mathrm{L}(\theta,d) = \mathbb{I}\{\Psi(\theta) \ne d\} / \max\{\eta,\pi_\Psi(\Psi(\theta))\}$$ 不依赖于选择用于密度（如果不是上的主导度量的版本），除非一个强加到处贝叶斯平等 π ψ（ψ | X ）/ π ψ（θ ）= ˚F （X | ψ ）/米（X ） 到处，当 f （x | ψ ）= ∫ { θ ; Ψ （θ ）= ψ } f （x $$\max_{\psi}\pi_\psi(\psi|x)/\pi_\psi(\theta)$$ $$\pi_{\psi}(\psi|x)/\pi_\psi(\theta)=f(x|\psi)/m(x)$$ 和 米（X ）= ∫ ˚F （X | θ ）π （θ ）d θ 在的精神我们的野蛮-迪基悖论纸。 $$f(x|\psi)=\int_{\{\theta;\Psi(\theta)=\psi\}}f(x|\theta)\pi(\theta)\mathrm{d}\theta$$ $$m(x)=\int f(x|\theta)\pi(\theta)\mathrm{d}\theta$$

Robert Bassett和Julio Deride 在2016年发表了一篇论文，讨论了MAP在贝叶斯决策理论中的位置。

“……我们为MAP估计量的普遍接受概念提供了一个反例，它是损失为0-1的Bayes估计量的极限。”

作者提到了我的《贝叶斯选择》一书，其中指出了该属性，而没有采取进一步的预防措施，我完全同意在这方面大意！困难在于最大化者的极限不一定是极限的最大化者。本文包括一个具有上述效果的示例，该示例具有先验条件，与不依赖参数的采样分布相关联。其中提出的充分条件是后部密度几乎肯定是适当的或准凹的。

$$||K(\hat u-u)||^2+2D_\pi(\hat u,u)$$ 产生MAP作为贝叶斯估计量。也许人们仍然会对主导度量感到疑惑，但是损失函数和结果估计量显然都取决于主导度量的选择……（损失取决于先前度量，但这本身并不是一个缺点。）

我将在第5章，贝叶斯统计，机器学习：概率观点中给出有关此问题的文章摘要-Murphy。

$X$$p(\theta|X)$

与均值或中位数不同，这是一个“非典型”点，因为在估计时不会考虑所有其他点。在估计均值/中位数的情况下，我们会考虑所有其他要点。

因此，正如预期的那样，在高度偏斜的后验分布中，MAP（以及扩展为MLE）不能真正代表实际的后验。

那么，如何使用均值/中位数/众数等点估计来总结后验呢？

$L(\theta, \hat{\theta})$$\theta$$\hat{\theta}$

$L(\theta, \hat{\theta})$$\mathbb{I}(\hat{\theta}\ne\theta|x)$$\theta$$\mathbb{I}(\hat{\theta}=\theta|x)$$\theta$。