为什么不允许贝叶斯算法查看残差?


46

在文章“讨论:生态学家应该成为贝叶斯主义者?”中 当布莱恩·丹尼斯(Brian Dennis)的目的似乎是警告人们时,他给出了令人惊讶的平衡和积极的贝叶斯统计观点。但是,他在一段中没有任何引用或理由的情况下说:

您会看到,贝叶斯不允许查看其残差。通过模型下的极端程度来判断结果违反了似然原理。对于贝叶斯来说,没有坏的模型,只有坏的信念。

为什么不允许贝叶斯分析残差?对此适当的引用是什么(即他在引用谁)?

Dennis,B.
讨论:生态学家应该成为贝叶斯主义者吗?
生态应用,美国生态学会1996年,6,1095-1103


6
如果该论点奏效,那么出于相同的原因,常客也不会使用似然原理。
Glen_b 2014年

@格伦:频繁分析确实违反了可能性原则。
Scortchi-恢复莫妮卡

3
@Glen:一个常客真正看中了LP(弱版本,等同于自给原则-强版本与常客方法根本不兼容)必须避免模型检查。只是佩服它的人感到高兴的是,他们可以将其用于估计指定模型的参数,并且仍然具有或多或少的独立辅助功能-残差-用于模型检查任何旧的方式。
Scortchi-恢复莫妮卡

1
即使当常客进行ML估计时,他仍然违反LP,因为他认为MLE的采样分布为其估计找到了置信区间。
2014年

2
@Zen:只要置信区间仅取决于似然函数,他就不会违反 LP。但是他可能迟早会根据来自具有不同采样空间的不同实验的相同似然函数得出不同的置信区间,而违反 LP。
Scortchi-恢复莫妮卡

Answers:


19

当然,贝叶斯可以看一下残差!当然,贝叶斯分析中存在错误的模型。也许有70年代的贝叶斯主义者支持这样的观点(我对此表示怀疑),但是如今,您几乎找不到支持这种观点的贝叶斯主义者。

我没有阅读本文,但是贝叶斯主义者使用贝叶斯因子之类的东西来比较模型。实际上,贝叶斯甚至可以计算模型为真的可能性,并选择更可能为真的模型。或者贝叶斯可以对各种模型求平均值,以获得更好的模型。或者可以使用后验预测检查。检查模型有很多选择,每个模型都可能支持一种方法或另一种方法,但是要说在贝叶斯分析中没有不好的模型是没有意义的。

因此,至多说一个更合适的说法是,在贝叶斯主义的某些极端版本(顺便说一句,几乎没有人在应用程序设置中使用过的极端版本​​)中,您不允许检查模型。但是,您可能会说,在某些极端的频繁出现版本中,您也不允许使用观测数据。但是,为什么要浪费时间讨论这些愚蠢的事情,何时我们可以讨论是否以及何时在应用环境中使用贝叶斯方法或常客方法或其他方法呢?以我的拙见,这很重要。

更新:OP请求提倡提倡Bayes极限版本的人的参考。由于我从未阅读过贝叶斯的任何极端版本,因此无法提供此参考。但我想野人可能是这样的参考。我从未读过他写的任何东西,所以我可能是错的。

PS .:想想“精心校准贝叶斯”(问题的Dawid(1982年),JASA77,379)。一个连贯的主观主义者贝叶斯预测者不能被校准,因此尽管有大量的证据表明他未经校准,但也不会审查他的模型/预测。但我认为实际上没有任何人可以声称自己具有连贯性。因此,模型审查很重要。

PS2:我也喜欢Efron的这篇论文。完整的参考资料是:Efron,Bradley(2005)。“贝叶斯主义者,常客和科学家。” 美国统计协会杂志100(469)。


5
我还认为该禁止措施从未在实践中得到认真对待,因此令我惊讶的是从盖尔曼那里读到:“我当然不希望回到贝叶斯统计中的大约1990年的现状,实际上,它被认为是检查模型是否适合数据是非法的。”
Scortchi-恢复莫妮卡

1
我不知道90年代的贝叶斯统计如何。但是很难相信,在应用设置中,贝叶斯没有检查其模型。也许他们检查了,但没有告诉!
Manoel Galdino 2014年

2
您可能是对的:非法不寻常。那时,至少在学者中间,捍卫原则上的贝叶斯方法而不是指出应用中的明显成功也许更为普遍,因此,任何不符合(真实或假定)原理的行为都将被扫除。
Scortchi-恢复莫妮卡

我绝对同意这不是主要问题,我只是好奇是否有人对此发表了意见。您有没有读过有人提倡这些“贝叶斯主义的极端版本​​”?
曼卡2014年

35

他们可以看但不能触摸。毕竟,残差是数据的一部分,不包含任何有关模型参数的信息,它们的先验表示这些不确定性,因此无法根据其在数据中看到的内容来更改其先验。

例如,假设您正在拟合高斯模型,但是注意到残差中的峰度过多。也许您先前的假设应该是在低自由度上具有非零概率的t分布,但事实并非如此,它实际上是除无限自由度以外在其他地方具有零概率的t分布。在先验密度为零的后验密度区域中,似然率不会导致非零概率。因此,当原始优先级指定不正确时,基于数据的可能性来连续更新优先级的想法将不起作用。

当然,如果您使用Google“贝叶斯模型检查”,您会发现这是对实际贝叶斯实践的模仿。但是,对于贝叶斯主义在哲学基础上的优越性的科学逻辑类型的论证,它的确存在一些困难。Andrew Gelman的博客对此主题很感兴趣。


您对此“科学逻辑难题”有什么参考吗?
曼卡2014年

7
我指的是Jaynes,《概率论:科学的逻辑》,其中随着新数据的到来而反复使用贝叶斯定理来更新概率分布被认为是科学知识增长的范例。我敢肯定他处理的先验问题太狭窄了,但我不记得如何,或如何令人满意。我将把“一般优势”改为“基于哲学的优势”,因为这似乎更好地表达了我的意思。
Scortchi-恢复莫妮卡

这个例子贝叶斯先前使用的施加到减小的偶尔(2%)发生非物理结果。这种缺乏物理性的原因是(身体中的)药物非物理性的即时混合,并通过使用更好的模型假设零初始混合来纠正。使模型适应问题似乎比捏造答案以符合先入之见更好。(+1)
卡尔
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.