如何回应贝叶斯多级模型中要求p值的评论者?


15

审阅者要求我们提供p值,以便更好地了解我们的贝叶斯多级模型中的模型估计。该模型是实验中每个参与者的多个观察值的典型模型。我们使用Stan估计了模型,因此我们可以轻松地计算其他后验统计量。目前,我们正在报告(通过视觉和表格形式)平均估算值以及0.025和0.975分位数。

到目前为止,我的回应包括:

  1. P值与贝叶斯模型不一致,即PX|θPθ|X
  2. 基于后验,我们可以计算出参数大于(小于)0的概率。这看起来有点像传统的p值。

我的问题是,这是否可以使评论者满意,还是只会引起更多的混乱?


10月10日更新:考虑到答案,我们使用建议将论文重写了。该论文已被接受,因此我将重申先前的评论,这确实是有用的建议!


2
也许审阅者会要求独立于您的贝叶斯模型的通常的常客p值?
斯蒂芬·洛朗

1
这是如此明显,我什至都没有想过。该模型具有一些复杂性(先验信息不足,解释变量缺少一些值),这使得运行频繁版本非常困难,但我将考虑报告具有频繁P值的精简模型。
stijn 2015年

Answers:


13

首先,快速澄清一下:尽管可能性确实不是后验的,但由于置信区间可能会或可能不会与可信区间对齐的所有原因,p值与贝叶斯推断并没有太大的矛盾,通常只是另一回事。(尽管不一定要完全不同,如后预测检查所示,它确实涉及p值。)

但是,我想这样的复杂程度并不是审稿人所考虑的。我猜他们只是“知道”统计模型的本意是具有p值,所以他们要了。因此问题仍然存在:如何应对?

当“审阅者想要一个X”时,我发现向自己问两个相关的问题很有用:

  1. 动机:他们希望X为他们做什么?

  2. 理性的重构:如果他们想这样做,他们可能会要求听起来最相似的明智事情,而不是X?

然后给他们。

无知的审稿人(尽管他们可能是聪明而正确的论文)的优点是,他们很少清楚知道他们问X的含义。这意味着,如果重构他们提出一个更好的问题,他们会满足于看到您回答它。

在您的情况下,审阅者很可能希望进行平行的常客分析,尽管我对此表示怀疑。我认为您要使用的是审阅者的提示,即他们希望p值“更好地理解模型”。我认为,您的工作是以一种使审阅者听起来明智的方式来解析此问题。大概有几句后面的句子指出了本文中还不清楚的地方。也许有些审阅者感兴趣的效果无法从您的参数边际中重建出来,或者某些数量可以照亮模型对他们感兴趣的案例所讲的内容,或者缺少单个数字摘要...

如果您可以确定这些问题,则可以采用以下形式(原始请求放在方括号中)来总结您的答复:

“审阅者[要求一个交互项的p值]担心我们的演示文稿中A与B的关系不清楚,因此在图2中我们显示...”或“审阅者想知道[是否可以拒绝假设A的影响为零]关于A的影响方向。表3显示该模型给出了99%的概率为负”或“审阅者想知道[我们的模型是否比模型更合适仅包含A]的模型与仅包含A的模型相比如何。我们通过使用DIC /计算贝叶斯因子/显示我们对A的推断对包含B“的鲁棒性将其与...进行比较,从而解决了这个问题。

在每种情况下,原始请求和答案都需要仔细翻译。

注意事项:当审阅者是对统计数据了解较弱的主题专家时,此策略似乎效果最好。它并没有与自我认同统计学审稿精良究竟是谁不希望有一个X,因为他们像两个X或最近的地方了解他们的工作。对于后者,我没有任何建议。

最后,我强烈建议您不要对贝叶斯(Bayes)是一种不同的范式,甚至要说些微弱的宗教信仰,并且评论者不要在其中提出任何疑问。即使这是真的,它也会使每个人都脾气暴躁,没有任何真正的收获。


1
可能会很容易注意到,在频繁的多级模型中很难定义p值。也不要这样做;-)
conjugateprior

4
PP -值,当他们接受他们使用的唯一原因,是因为他们根本理解他们。
Frank Harrell 2015年

这样我们就在同一页面上。或这是对@stéphane-laurent的回应
conjugateprior

是的,对不起我没有说清楚
弗兰克·哈瑞尔

@conjugateprior谢谢!巨大的帮助。我已经意识到在多级模型问题中提到p值会令人讨厌。但是,正如您所说,我的观点1同样可能遇到“微弱的宗教信仰”。
stijn 2015年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.