贝叶斯统计如何处理先验缺失？

这个问题的灵感来自于我最近的两次互动，一次是在简历中，另一次是在Economics.se。

在那里，我已经发布了一个答案，以著名的“信封悖论”（请注意，不是在 “正确答案”，而是从具体的假设，流程约情况的结构的答案）。一段时间后，一个用户发表了评论，我进行了交谈，试图了解他的观点。很明显，他在思考贝叶斯方法，并不停地谈论先验-然后我恍然大悟，我对我自己说：“等一下，谁说过任何事先什么吗？在路上，我已经制定了问题，这里没有先验条件，他们只是不需要输入图片，也不需要”。

最近，我在简历中看到了关于统计独立性的答案。我向作者评论说他的判决

“ ...如果事件在统计上是独立的，那么（根据定义）我们不能从观察另一个事件中学到任何事情。”

是公然的错误。在评论交流中，他一直回头谈（他的话）

““学习”是否意味着基于对另一个事物的观察来改变我们对事物的信念？

再一次，很明显，他正在思考贝叶斯方法，并且他认为不言而喻，我们是从某种信念（即先验）开始的，然后是我们如何更改/更新它们的问题。但是，如何建立第一至第一的信念？

由于科学必须符合现实，因此我注意到存在这样的情况，即所涉及的人类没有先例（一件事，我一直都没有任何先例地进入情况，并且请不要争辩说我确实有先例，但是我只是不了解而已，让我们在此处进行虚假的精神分析）。

因为我碰巧听到过“无信息先验”一词，所以我将问题分为两个部分，并且我可以肯定，在贝叶斯理论中精通的用户确切知道我要问的问题：

问题1：是否没有先验等价物（从严格的理论意义上讲）与没有信息的先验相提并论？

如果对Q1的回答是“是”（请作详细说明），则意味着贝叶斯方法是普遍适用的，并且从一开始就适用，因为在任何情况下，涉案人员都宣称“我没有先验”，我们可以补充一下。它所处的先验地位对于手头的案件没有多大意义。

但是，如果对Q1的回答为“否”，那么Q2就会出现：

问题2：如果问题1的答案为“否”，是否表示在没有先验条件的情况下，贝叶斯方法从一开始就不适用，我们必须首先通过某种非贝叶斯方法形成先验条件，这样我们就可以随后应用贝叶斯方法了？

问题1：是否没有先验等价物（从严格的理论意义上讲）与没有信息的先验相提并论？

没有。

首先，“先验信息”没有数学上的定义。这个词仅非正式地用于描述一些先验。

例如，杰弗里（Jeffrey）的先验通常被称为“无信息”。该先验概括了翻译不变性问题的统一先验。杰弗里（Jeffrey）的先验以某种方式适应了模型的（信息理论）黎曼几何，因此与参数化无关，仅取决于作为模型的流形的几何形状（在分布空间中）。它可能被认为是规范的，但这只是一个选择。根据黎曼结构，这只是统一的先验。将“无信息=统一”定义为问题的简化并不荒谬。这适用于许多情况，有助于提出一个清晰而简单的问题。

做贝叶斯推理没有事先是如“我怎样才能猜没有关于分配任何假设X只知道X具有值[ 0 ; 1 ]？” 这个问题显然是没有道理的。如果您回答0.5，则可能要考虑分布。$E(X)$$X$$X$$[0;1]$

贝叶斯和常客主义的方法只是回答了不同的问题。例如，关于估计器，这可能是最简单的：

• 频繁出现的问题（例如）：“如何估计，以使我的答案在最坏的情况下（超过θ）具有最小的误差（仅在x上求平均值）？”。这导致极小极大估计。$\theta$$x$$\theta$

• 贝叶斯：“如何估计，使答案的平均误差最小（超过θ？）”。这导致贝叶斯估计器。但是这个问题是不完整的，必须指明“平均意义是什么？”。因此，仅当问题包含先验问题时，问题才完整。$\theta$$\theta$

不知何故，常客的目的是控制最坏的情况，不需要事先通知。贝叶斯的目标是平均控制，并要求先说“平均是什么意思？”。

问题2：如果问题1的答案为“否”，是否表示在没有先验条件的情况下，贝叶斯方法从一开始就不适用，我们必须首先通过某种非贝叶斯方法形成先验条件，这样我们就可以随后应用贝叶斯方法了？

是。

但是要注意规范的先验构造。从数学上来说，这听起来可能很吸引人，但从贝叶斯的观点来看，这并不是自动地现实。数学上好的先验实际上可能对应于一个愚蠢的信念系统。例如，如果你研究，杰弗里对之前μ是均匀的，如果关于人的平均规模，这可能不是一个很现实的系统。但是，仅通过一些观察，问题实际上就会很快消失。选择不是很重要。$X\sim N(\mu,1)$$\mu$

我认为，先验规范的真正问题发生在更复杂的问题中。在这里重要的是要了解某个先验者所说的话。

首先，经常使用贝叶斯方法，因为您想在模型中包括先验知识以丰富它。如果您没有任何先验知识，那么您将遵循所谓的“无信息”或每周提供信息的先验知识。注意，统一先验在定义上不是“无信息的”，因为关于统一的假设是假设。有没有这样的事，作为一个真正的无信息之前。在某些情况下，“可能是任何东西”是一个合理的“非信息性”先验假设，但在某些情况下，指出“所有价值均等可能”是一个非常有力且不合理的假设。例如，如果您假设我的身高可以在0厘米至3米之间，并且所有值都可能是先验值，那么这将不是一个合理的假设，并且会给极端值带来过多的影响，因此它可能会使您的后方扭曲。

另一方面，贝叶斯主义者会认为，实际上没有任何情况您没有先验知识或信念。您总是可以假设某件事，作为人类，您一直都在做（心理学家和行为经济学家对此主题进行了大量研究）。贝叶斯对先验的大惊小怪是量化那些先入之见，并在模型中明确表述它们，因为贝叶斯推论是关于更新您的信念的。

对于抽象问题，很容易提出“没有先验假设”的论点或统一先验，但是对于现实生活中的问题，您将具有先验知识。如果您需要押注信封中的金额，则应该知道金额必须是非负数且是有限的。考虑到您对比赛规则的了解，对对手可用的资金，对信封实际尺寸的了解以及可以实际使用的金额，您还可以对可能的金额上限进行有根据的猜测您还可以对对手可能愿意放入信封中并可能散去的金额做出一些猜测。您将有很多事情作为您先前工作的基础。

问题1 我认为答案可能是否定的。我的原因是，我们除了没有以某种方式衡量最终答案与某些信息丰富的模型/可能性的距离外，实际上没有“非信息性”的定义。许多无信息的先验都通过“直觉”的示例进行了验证，在这些示例中，我们已经想到了“模型/可能性”和“答案”。然后，我们在询问不详信息之前先给我们想要的答案。

我的问题是，我难以相信某人可以为他们的人群提供一个真正好的，消息灵通的模型或模型结构，并且同时对于该模型的可能值和不太可能的参数值没有“任何信息”。例如，使用逻辑回归，请参阅“先验性信息默认分布。有关逻辑模型和其他回归模型”

我认为离散的先验先验是我们唯一可以合理地说的“先到先得”先验。但是您会遇到使用它的问题，认为您“没有信息”，但是突然对“不直观”的答案产生了反应（提示：如果您不喜欢贝叶斯答案，您可能会将信息遗漏了。可能性！）。您遇到的另一个问题是使离散化适合您的问题。即使考虑到这一点，您也需要知道离散值的数量才能应用离散均匀先验。

先验要考虑的另一个属性是相对于您使用的可能性的“尾部行为”。

关于问题2

从概念上讲，我认为在不使用先验或可能性的情况下指定分布不会有任何问题。您可以通过说“我的pdf是...，而我想计算此pdf来开始问题”。然后，您将为先验，先验预测和可能性创建约束。贝叶斯方法适用于您具有先验和似然性，并且您希望将它们组合成后验分布的情况。

弄清楚自己的概率可能是一个问题。然后，论点转向“这个pdf / pmf代表我所说的内容吗？” -我想这就是您想要的空间。在您的示例中，您说的是单个分发反映了所有可用信息-没有“先验”，因为它已经（隐式地）包含在您正在使用的分发中。

您也可以反向应用贝叶斯-什么“先验”，“可能性”和“数据”给了我正在考虑的实际先验条件？这是您可以看到$U (0,1)$ 事先为 $Bin(n,p)$ 可能性“看起来”像它对应于一个“后验” $Beta (0,0)$ 与“以前” $2$ 观察- $1$ 来自每个类别。

关于所谓的公然错误的评论

老实说，我将非常有兴趣了解如何将任何观察数用于预测“统计独立”的观察。例如，如果我告诉您，我将生成100个标准普通变量。我给你99，让你给我100最好的预测。我说您不能对100的预测做出比0更好的预测。但是，如果我没有给您数据，您对100的预测也是如此。因此，您无法从99个数据点中学到任何东西。

但是，如果我告诉您这是“某种正态分布”，则可以使用99个数据点来估计参数。然后，数据现在不再是“统计独立的”，因为随着观察更多的数据，我们对通用结构有了更多的了解。您最好的预测现在使用所有99个数据点

这只是对其他优秀答案的补充。通常或至少有时，在某种程度上是任意的（或常规的），进入统计分析的信息的哪一部分称为数据，哪一部分称为先验。或更笼统地说，我们可以说统计分析中的信息来自三个来源：模型，数据和先验。在某些情况下，例如线性模型或glm，至少传统上，这种分离非常清晰。

我将以外行术语重用最大似然估计（MLE）中的示例， 以说明我的观点。假设患者进入医生的办公室，结果发现一些医疗问题难以诊断。这位医生以前从未见过类似的东西。然后，与患者交谈，它揭示了一些新信息：该患者最近访问了热带非洲。然后，在医生看来，这可能是疟疾或其他一些热带疾病。但请注意，这些信息对我们而言显然是数据，但是至少在许多可用的统计模型中，它将以先验分布的形式进入分析，而先验分布会给某些热带地区带来更高的概率疾病。但是，也许我们可以建立一些（更大），更完整的模型，并将这些信息作为数据输入。因此，至少部分地，区别数据 / 先验是常规的。

由于我们强调某些常规模型类别，因此我们习惯并接受该约定。但是，在更大的方案中，在程式化的统计模型之外，情况还不太清楚。