贝叶斯会承认有一个固定的参数值吗?


39

在贝叶斯数据分析中,参数被视为随机变量。这源于贝叶斯概率的主观概念化。但是,贝叶斯理论上是否承认“现实世界”中存在一个真正的固定参数值?

似乎最明显的答案是“是”,因为然后尝试估计参数几乎是荒谬的。对此答案的学术引用将不胜感激。


2
给我该参数,我将为其定义一个分布。:-)
Anne van Rossum 2014年

Answers:


42

恕我直言,是的!这是格陵兰(2006:767)我最喜欢的报价之一:

人们经常(错误地)说:“参数被常客视为固定的,但被贝叶斯主义者视为随机的”。对于常客和贝叶斯主义者而言,参数的值可能从一开始就是固定的,或者可能是从物理随机机制生成的。在这两种情况下,两者都假定它具有我们想知道的某个固定值。贝叶斯算法使用形式概率模型来表达关于该值的个人不确定性。这些模型中的“随机性”代表了个人对于参数值的不确定性。它不是参数的属性(尽管我们希望它能准确反映出生成参数的机制的属性)。

格陵兰,美国(2006)。贝叶斯流行病学研究的观点:I.基础和基本方法。国际流行病学杂志,35(3),765–774。


2
有点相反,不能说粒子的(位置,动量)是我们可以尝试估计的“参数”吗?可能有人争辩说,此参数没有“固定”值,因此我们应该真正将其视为一种分布。大自然在某些情况下会把未知数专门视为分布而不是固定值。在实践中,我认为这种推理对贝叶斯算法不是很有吸引力,但我认为要完全回答OP的问题,需要对随机性进行一些讨论。
2014年

3
我不认为将分布作为推论的目标是“不合情理的”。确实,用参数索引事物是可选的,例如,可以直接使用函数的分布来声明不确定性(请参阅高斯过程中的Neal和Williams)。而且,对于“随机性”可以用概率演算来表示不确定性,不需要有任何特殊的看法。基于采样(理论)推理论证确实需要这样的理论,但据我可以看到贝叶斯主义不是(或至少不需要的人。)
conjugateprior

2
我不同意贝叶斯(Bayesian)假设参数具有固定值,并且仅仅是他们的个人不确定性促使他们将参数定义为分布而不是点。我已经尝试在答案中对此进行扩展。您的个人/理论不确定性是分布的一部分,但是在我看来,即使您的个人先验非常精确,您的模型实际上也是对模型中未包含的变量进行平均并创建分布。
韦恩2014年

29

贝叶斯概率的概念不一定是主观的(参见Jaynes)。此处的重要区别在于,贝叶斯试图通过将参数合理值的先验分布与汇总某些观察结果中包含的信息的可能性相结合,来确定其关于参数值的知识状态。因此,作为贝叶斯主义者,我会对参数具有真实值的想法感到满意,这是未知的,后验分布的目的是总结我对有效值的了解,基于我之前的假设和观察。

现在,当我制作模型时,该模型不是现实的。因此,在某些情况下,相关参数确实存在(例如,袋熊的平均体重),而在某些问题中则不存在(例如,回归参数的真实值-回归模型只是以下结果的模型)控制系统的物理定律,而回归模型实际上可能无法完全捕获这些定律)。可以这么说,在现实世界中只有一个真实的固定参数值不一定是真实的。

另一方面,我建议大多数常客会说该统计有一个真正的价值,但他们也不知道这是什么,但是他们有估计量和估计值的置信区间(在某种意义上)量化了他们对不同值的合理性的不确定性(但概率论的频繁性概念阻止了他们将其直接表达为这种可能性)。


我一直认为“主观概率”被称为主观概率,因为它们指的是进行计算的对象属性(即她的知识),而不是客观现实的属性(例如,不完全公平骰子的权重分布)。
nikie 2014年

1
@nikie有一些原则,例如MaxEnt和转换组,用于以客观的方式定义先验。在那种情况下,不管是谁执行什么操作,计算都会给出相同的答案(机器人会得出相同的结论)。频率统计也不是没有主观性的,例如如何为假设检验设置,但是这样做的目的是从“个人概率/信仰”而非“合理程度”(IIRC)的意义上消除统计中的主观性。 。α
2014年

我知道,但是它们仍然是主观概率,对吗?因为他们仍在描述受试者对某些参数的了解(对于常客来说,根本不是一个随机变量)
nikie 2014年

不一定有一个主题。一组机器人或计算机都可以执行相同的计算并得出相同的结论,无论是使用贝叶斯常识还是客观贝叶斯方法。这是知识状态,而与计算的主体无关,这就是为什么它是客观的而不是主观的。
迪克兰有袋博物馆,2014年

16

贝叶斯数据分析(第3版,第93版)中,格尔曼还写道:

从贝叶斯数据分析的角度来看,我们经常可以基于一些隐式全概率模型将经典点估计解释为精确或近似后验总结。实际上,在大样本量的限制下,我们可以使用渐近理论为经典的最大似然推断构造理论贝叶斯合理性。

因此,也许不是“贝叶斯”应该“承认”实际上存在单个实参值,而是常客应该诉诸贝叶斯统计来证明其估计程序合理!(我用舌头紧紧地贴在脸上。)

顺便说一句,我反对贝叶斯统计的笼统说法,即贝叶斯统计以主观概率为前提,并暗示贝叶斯是主观的,而其他推论范式则不是。当然,这是可以提出的一个论点,也许还包括“赌注的连贯性”论点的观点,但请参见Gelman,他在这里将“贝叶斯”定义为使用后验分布的统计学家,而在这里,他认为反对过于严格的定义。Pr(θ|y)

但是,自然界或社会系统中只有一个参数的想法只是一个简化的假设。可能会有一些华丽的过程产生可观察的结果,但是发现该系统异常复杂。假设只有一个固定参数值,则可以大大简化该问题。我认为这切入了您问题的核心:贝叶斯主义者不必像“常客主义者”那样“承认”进行这种简化。


您介意阐述为什么您拒绝基于主观概率的贝叶斯推理吗?我读过的介绍性文章(Kruschke,Lynch)似乎都是这样。是否只是部分主观(来自先前)?
ATJ 2014年

@ATJ我希望这可以阐明我的观点。还有其他一些论点可以提出,但对我而言,真正的症结是隐含的假设,即贝叶斯统计量是主观的,而其他范式则不是。例如,我会反对Bernd引用中的特征,因为与后验可变性框架相比,偏向于采用无偏点估计方法似乎是“个人的”。
恢复莫妮卡2014年

@ATJ,介绍性文字讲述了一个激励方法的故事。像那个故事之类的东西可能最初激发了这些方法。但这并不意味着该故事对人们在实践中应用这些方法时所做的假设有很大影响。(而且这个故事可能是胡说八道:例如,这样的想法就可以按照频率的定义来定义统计中涉及的概率,而介绍性的频繁性文本有时却说不通-Google Alan Hajek的“ 15个论点”论文(这并不意味着常客的统计数据无效;而是有效的。)
2014年

8

您是否认为像喝牛奶对孩子的成长的贡献那样只有一个“真正的固定参数”?还是要根据您注入患者体内的化学X量来减少肿瘤的大小?选择您熟悉的任何模型,并问自己是否真的相信每个参数都有一个真实,通用,精确和固定的值,甚至在理论上也是如此。

忽略测量误差,只看模型就好像所有测量都是完全精确和无限精确一样。对于您的模型,您是否认为每个参数实际上都有一个特定的点值?

您拥有模型的事实表明您遗漏了一些细节。您的模型将具有一定程度的不精确性,因为您需要对为建立模型而遗漏的参数/变量求平均,这是对现实的简化表示。(就像您未制作完整的所有细节的1:1地图一样,而是完整的1:10000000地图或某些简化的地图。该地图是模型。)

假设您要对剩余变量进行平均,则模型中包含的变量的参数将是分布,而不是点值。

这只是贝叶斯哲学的一部分-我忽略了理论不确定性,测量不确定性,先验性等-但在我看来,您的参数具有分布的想法具有直觉意义,就像描述性统计信息具有分配。


6

但是,贝叶斯理论上是否承认“现实世界”中存在一个真正的固定参数值?

我认为答案是肯定的。该参数的值未知,并且先前的分布描述了我们对此的知识/不确定性。在贝叶斯数学建模中,被视为遵循先验分布的随机变量的实现。θ0θ0


2

如果我们将贝叶斯主义与确定性的宇宙相结合(在您说出其中带有“量子”一词的任何内容之前,请逗我一下,并记住这不是Physical.stackexchange),我们会得到一些有趣的结果。

使我们的假设明确:

  1. 我们有一个贝叶斯代理参与其中并遵守确定性宇宙。
  2. 该代理的计算资源有限。

现在,确定性宇宙可能是原子是牛顿小台球的世界。它可能完全是非量子的。可以说是。

代理现在可以掷出一枚公平硬币。想一想,公平硬币在确定性宇宙中是什么构成的?一枚具有50/50概率比率的硬币?

但这是确定性的!有了足够的计算能力,您可以完全通过模拟以相同方式翻转硬币的模型来精确计算硬币的下落方式。

在确定性的宇宙中,公平的硬币将是密度均匀的金属圆盘。没有一种力量会迫使它花费一个脸部朝下的时间多于另一个脸部(思考加权骰子的功能如何)。

因此,代理人掷出一枚公平的硬币。但是,该代理还不够强大。它没有足够锐利的眼睛来衡量硬币翻转时的旋转方式,只能看到模糊。

因此它说:“这枚硬币将以50%的概率落在正面。” 信息不足会导致概率下降。

我们可能会看硬币投掷的相空间。一个大型的多维坐标系,其坐标轴与投掷方向,投掷力,硬币旋转,风速和风向等有关。该空间中的单个点对应于单个可能的coinflip。

如果我们从前要求座席在坐标系中使用灰度渐变进行着色,该渐变对应于每次给定投掷时座席对头部概率的分配,则它将为所有对象均匀地涂上灰色阴影。

如果我们逐渐为它提供功能更强大的内部计算机来计算喷头的概率,它将能够做出越来越多的识别色。当我们最终为它提供功能最强大的内部计算机时,使它变得无所不知,它将有效地绘制一个奇怪的棋盘。

公平的硬币不是由概率构成的,而是由金属制成的。概率仅存在于计算结构中。贝叶斯说。


-3

有不适当的先验,例如Jeffreys,它与Fishers信息矩阵有一定关系。那么这不是主观的。


2
您能否详细说明Jeffreys的先验及其与Fisher信息矩阵的关系意味着贝叶斯推理不是主观的?据我了解,使用Jeffreys先验的主要原因是它对于模型的替代参数化是不变的。此外,在多维环境下,这些杰弗里斯的先验知识可能会变得非常有用,其结果是有争议的(Gelman,BDA 3,第53页)。这会破坏其“客观性”吗?
恢复莫妮卡

@ user777,因为它基于现有密度的参数,所以是客观的。假设我将似然乘以1,那么在该概率之前我是否先作了主语冲减?由于后验概率与先前的x可能性有关。
分析师2014年

如果他们想使用可能性,常客还必须调用“真实模型”的公理... :)
分析师2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.