贝叶斯统计如何估算参数的示例,这些参数很难通过惯常方法进行估算


9

贝叶斯统计学家坚持认为“贝叶斯统计可以估算出参数,而这些参数很难通过惯常方法来估算”。从SAS文档中引用的以下内容是否表示同一件事?

它提供了以数据为条件且准确的推断,而无需依赖渐近逼近。小样本推论以与大样本一样的方式进行。贝叶斯分析还可以直接估计参数的任何功能,而无需使用“插入”方法(一种通过将估计的参数插入功能中来估计功能的方法)。

我在某些教科书中看到过类似的陈述,但不记得在哪里。有人可以举例说明吗?


明天太阳升起的概率是多少?en.wikipedia.org/wiki/Sunrise_problem 这个例子可能比您希望的要简单得多
Hugh 2016年

您能否将报价直接输入到您的问题中?标题似乎与第二个要点无关。

1
该引用中的陈述并不好,因为(a)“完全”并不意味着任何东西,并且(b)插件批评仅在一个人考虑全部后验而不是另一个估计时才适用,并且取决于所选择的损失函数进行估算。有关其他答案,请参见另一个问题
西安

Answers:


8

我对此报价有异议:

  1. “频率偏见”是一种基于所选估计器的频率属性进行推理的方法。这是一个模糊的概念,因为它甚至没有声明估算器必须收敛,以及是否按照必须收敛的方式进行估算。例如,无偏是一个频繁出现的概念,但是它不能满足感兴趣的参数[ ]的任何和每个函数,因为对允许无偏估计量的变换的收集非常受限制。此外,范式估计不是由范式产生的,而是必须首先选择,然后再进行评估。从这个意义上讲,如果贝叶斯估计量满足某些频繁性属性,则它是一个频繁度估计量。θθθ
  2. 贝叶斯方法产生的推论基于后验分布,用密度。我不明白“精确”一词如何附加到它与先验分布唯一相关,并且完全由贝叶斯定理派生。但是它不会返回精确的推论,因为该点估计值不是参数的真实值,并且仅在成对的先验x可能性提供的框架内产生精确的概率陈述。π θ | Dπ(θ|D)π(θ|D)θπ(θ)θ。改变一对中的一项确实会修改后验和推论,而没有通用的论据来捍卫单个先验或可能性。
  3. 同样,在此SAS文档的同一页中找到的其他概率陈述,例如“真实参数在0.95%的可信区间内下降的概率为0.95”,具有相对于后验分布框架的含义,但不具有绝对值。
  4. 从计算角度来看,在标准经典方法失败的情况下,贝叶斯方法可能经常会返回精确或近似答案。例如,对于潜伏[或缺失]变量模型就是这种情况,其中是线对的联合密度,在其中未观察到情况下,通过模拟线对来产生及其后验的估计可能比推导要容易得多最大似然[frequentist?]估计量。这种设置的一个实际例子是人口遗传学中的金曼合并模型g x z | θ X Z Z
    f(x|θ)=g(x,z|θ)dz
    g(x,z|θ)(X,Z)Zθ Žθ(θ,Z),其中一个共同祖先的种群进化涉及二叉树上的潜在事件。即使也存在非贝叶斯软件分辨率,也可以通过称为ABC的算法通过[近似]贝叶斯推理来处理该模型。
  5. 但是,即使在这种情况下,我也不认为贝叶斯推断是唯一可能的解决方案。机器学习技术(例如神经网络,随机森林,深度学习)可以归为常客方法,因为它们通过交叉验证在样本上进行训练,从而最大限度地减少了可以视为期望的误差或距离标准(在真实模型下)用样本平均值近似。例如,金曼的合并模型也可以通过非贝叶斯软件分辨率来处理。
  6. 最后一点是,对于点估计,贝叶斯方法很可能会产生插件估计。对于我称为固有损失的某些损失函数,变换的Bayes估计量是的Bayes估计量的变换。ħθθh(θ)h(θ^)θ

答案是好的。我反对第5点,因为它归因于ML方法的优越性能,这在理论上尚无道理。“真正的模型……”到底是什么意思呢?毫无疑问,这些方法很流行,但是通常可以通过其“扩展”能力来证明其受欢迎程度。不幸的是,当使用非ML贝叶斯方法和常识性方法时,许多诊断见解会丢失。特别是,交叉验证比其他技术可以产生更高的错误率,请参见Efron,1983,1986,JASA。
Jan Galkowski

谢谢。实际上,我没有赋予ML方法“超强”的能力,只是提及可能为复杂模型提出一些ML答案。所谓“真实模型”,是指(错误地)假设数据是由所述模型产生的,对一种方法的性能进行评估。这是大多数imo统计分析的缺陷。
西安
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.