统一先验如何根据最大似然和后验模式得出相同的估计？

我正在研究不同的点估计方法，并读到当使用MAP与ML估计时，当我们使用“统一先验”时，估计是相同的。有人可以解释什么是“统一”先验，并给出一些（简单的）MAP和ML估计量何时相同的示例吗？

— 用户名
source

@AndreSilva MAP = 最大后验概率- 后验模式

— Glen_b-恢复莫妮卡2013年

在这里看看：math.stackexchange.com/questions/1327752/…–

— 罗伊

Answers:

它是均匀分布（连续或离散）。

也可以看看

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

和

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

如果在包含MLE的集合上使用统一先验，则MAP = MLE始终为。原因是在这种先验结构下，后验分布和似然是成比例的。

— PM
source

我认为这是一个很好的答案。可能值得补充的是，后验分布和似然性成比例的原因是，后验分布本身与似然度和先验性的乘积成比例。当先验在各处均采用相同的值时（如在均匀分布中），则后验分布仅与似然成正比。

— TooTone

@TooTone我还要指出一点不当之处。

— 斯特凡洛朗

可以将统一先验视为您要尝试预测的每个类的用户集或均等概率。例如，如果我们有两类问题，并且正例的分布为10％（即先验概率为0.1），则可以将正例的统一先验设置为0.5，以克服原始样本的不平衡效应。分配。

— soufanom

备注，在统一先验下，仅当统一先验遍历整个参数的有效值时，MAP和ML才会发生冲突。也就是说，如果参数是连续的，并且先验仅在[0，1]处一致，则它将不成立。

— 罗伊2015年

@Drazick：好话。实际上，它比这更“糟糕”，即MAP的（值）取决于主导度量的选择，如Druihlet和Marin的论文中所述。

— 西安

MLE是给定参数给定事件的发生的估计，而MAP是给定事件给定参数的估计。当我们在估计MAP时进一步使用贝叶斯定理时，它可归结为，其中是关于MLE的唯一附加项。MAP的均值和方差估计将与MLE的均值和方差估计相同，因为Prior每次均保持不变，并且完全没有变化。因此，它仅充当常数，因此对均值和方差的值没有影响。 $P(D|\theta)P(\theta)$ $P(\theta)$

— gg1782191
source

（-1）（参数的）最大似然估计是参数的估计，而不是“给定事件发生的估计”。答案的其余部分也有些混乱/混乱，例如，不清楚“均值和方差”指的是什么。

— Juho Kokkala

@Tim，您能提供显示的证明（或轮廓）The mean and variance estimate of MAP will be same as mean and variance estimate of MLE吗？谢谢

— curious_dan

@curious_dan贝叶斯定理是

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta) p(\theta)$ 如果

p (θ) \propto 1

$p(\theta) \propto 1$ 是均匀的，然后减少到

p (θ | X) \propto p (X | θ) \times 1

$p(\theta|X) \propto p(X|\theta) \times 1$ ，因此您仅使可能性最大化，所以它与MLE相同。

— 蒂姆

谢谢@Tim ---我知道为什么最大值/期望值是正确的，但我不清楚差异是否会相同

— curious_dan

@curious_dan的差异是什么？这适用于您估计的任何参数。

— 蒂姆