具有良好的常客属性意味着什么？

我经常听到这个短语，但从未完全理解它的意思。短语“良好的常客属性”目前在Google上有2750笔点击，在Scholar.google.com 上有 536笔，在stats.stackexchange.com上有4笔。

报告95％置信区间的意思是，即使在不同的估计问题之间，您也可以将“真实”参数“圈住”在您提出的95％的索赔中。这是具有良好的频繁性的估计程序的定义特征：它们在重复使用时经过仔细检查。

对此进行一点思考，我认为“良好的频率特性”一词意味着对贝叶斯方法，特别是区间构造的贝叶斯方法的某种评估。我知道贝叶斯区间意味着包含概率为的参数的真实值。频率间隔的构造应使得，如果间隔构造的过程被重复了很多次，则大约 $p$ $p*100\%$ 的间隔将包含参数的真实值。贝叶斯间隔通常不会保证间隔的百分比将覆盖参数的真实值。但是，某些贝叶斯方法也碰巧具有这样的性质：如果重复很多次，它们将覆盖大约的真实值。当他们拥有该属性时，我们就说它们具有“良好的常客属性”。 $p*100\%$

是对的吗？我认为这还不止于此，因为该短语是指良好的常客属性，而不是具有良好的常客属性。

bayesian terminology frequentist

— user1205901-恢复莫妮卡
source

我真的很喜欢你思考这个问题的方式。在早期，Harold Jeffreys爵士试图构造贝叶斯后验分布，其表现像似然函数，因此具有良好的频度特性。因此，这相当于构造“统一”的先验分布。想法是使用这种先验的手段，先验是中性的，并且不影响推理。因此，这不仅适用于使可信区间看起来像置信区间。但是杰弗里斯遇到了麻烦，因为在某些情况下，“统一”先验是不合适的。

— Michael R. Chernick

不当意味着先验密度不能积分为1。似乎杰弗里斯认为贝叶斯方法需要通过与常服方法相吻合来证明其合理性。贝叶斯主义者最终拒绝了这个概念，因为他们声称的方法的价值在于存在影响推理的先验信息，因此他们更喜欢使用适当的“信息性”先验。

— Michael R. Chernick

@MichaelChernick：您能提供有关Jeffreys寻找贝叶斯估计量的频繁属性的准确参考吗？我从未听说过这个故事。而且我还怀疑Jeffreys根本担心使用不正确的先验，因为它们超出了概率论。

— 西安

我喜欢这个问题！

— 亚历克西斯

实际上，@西安对于Beta-Binomial模型而言，是导致频繁评估的Haldane先验（这是不适当的），而不是Jeffreys先验（在这种情况下是正确的）。我也从未听说过杰弗里斯（Jeffreys）在寻找良好的常客属性：我以为他在寻找客观先验，而客观地讲，他的意思是重新参数化下的不变性。

— DeltaIV '16

Answers:

关于良好的常客属性的一个棘手的事情是它们是过程的属性，而不是特定结果或推断的属性。从长远来看，良好的频繁检查程序可以对指定比例的案件产生正确的推论，但是良好的贝叶斯程序通常可以在所讨论的单个案件中得出正确的推论。

例如，考虑一个一般意义上的“良好”贝叶斯程序，因为它提供了正确表示证据（似然函数）与先前概率分布的组合的后验概率分布或可信区间。如果先验信息包含准确的信息（例如，而不是空洞的意见或某种形式的无信息的先验信息），则后验或区间可能比相同数据的常客结果更好地进行推断。从更好的意义上讲，可以更好地推断出此特定情况或更窄的估计间隔，因为此过程利用了包含准确信息的定制优先级。从长远来看，时间间隔的覆盖率和推理的正确性受每个先验质量的影响。

请注意，该过程未指定如何获得先验，因此，对性能的长期核算可能会假定每种情况都采用旧的先验，而不是定制设计的先验。

贝叶斯过程可以具有良好的频繁性。例如，在许多情况下，具有菜谱提供的无信息先验的贝叶斯程序将具有相当好的性能，甚至具有出色的频频特性。这些良好的属性将是一个意外事件，而不是设计特征，并且将是此类过程的直接结果，产生的间隔与常驻程序相似。

因此，贝叶斯程序在单个实验中可以具有优越的推理性能，而从长远来看却具有较差的惯常性。等效地，在单个实验的情况下，具有良好的长期频度特性的频度程序通常性能较差。

— 迈克尔·卢
source

我不懂除了经验贝叶斯，在所有贝叶斯程序中，我看到的先验都是独立于数据选择的。因此，当将这样的过程应用于来自同一数据生成过程（这是频繁框架）的多个数据集时，贝叶斯算法将使用相同的似然函数（数据生成过程相同）和相同的先验（先验是与大多数贝叶斯程序中的数据无关）。当然，由于数据每次都更改，因此似然值也会更改，但是其形式相同。现在，如果每个人[1/2]

— DeltaIV '16

[2/2]估计更准确，整个过程怎么可能不那么准确？仅当贝叶斯估计并不总是更准确时，才有可能这样做。但是，由于先验不是针对观察到的数据定制的，因此我不确定是什么使它对于每种情况和/或“平均”而言或多或少地准确。

— DeltaIV '16

@DeltaV我认为您正在处理错误的参考集。程序的频繁性与在所有新情况下应用的程序的长期性能有关，而不仅是特定实验的重复。这就是为什么二项式比例的置信区间程序必须适用于参数的所有值，而不仅仅是适用于使用该程序的任何特定实例的值。这种“长期运行”类型意味着适合该案例的定制优先级对于长期运行而言是不合适的。

— Michael Lew

您是对的，一个常人信任程序必须对未知参数的所有值都具有名义覆盖率。这是纽曼与皮尔森（Newman＆Pearson）明确规定的，而今天却经常被忽略。但是，当您选择先验时，您不知道哪个是参数的“ true”值。您只有样品，并且先验样品应独立于样品。因此，我仍然不清楚您如何根据示例自定义先验。你能举一个实际的例子吗？

— DeltaIV '16

@DeltaIV如果我知道当前感兴趣的参数是在先前的研究中估计过的，那么我可以根据该估计值制定一个信息丰富的先验。该优先级将适合当前的分析，但是从长远来看，没有等效的适当的信息性优先级可用于该方法的名义应用。因此，在孤立的真实案例中，该分析的性能可能比在频密的长期情况下要好得多。

— 迈克尔·卢

我会回答你的分析是正确的。为了提供更多见解，我将提到匹配先验。

匹配先验通常是设计用来建立具有频繁属性的贝叶斯模型的先验。特别是，对它们进行定义，以使所获得的hpd间隔满足置信区间的常识性覆盖范围（因此从长远来看，95％hpd中的95％包含真实值）。请注意，在1d中有解析解：Jeffreys先验是匹配先验。在更高维度上，这不是必需的情况（据我所知，没有结果证明这种情况永远不会发生）。

在实践中，有时还应用此匹配原理来调整模型的某些参数的值：地面真相数据用于优化这些参数，其意义是它们的值会最大化感兴趣的参数所得可信区间的频繁覆盖范围。从我自己的经验来看，这可能是一个非常微妙的任务。

— eu
source

$p$

现在，回答您的问题：不，它并不意味着对贝叶斯方法进行任何评估。跳过细微差别并专注于估计过程以使其保持简单：统计中的常态性是这样的想法，即估计未知的固定数量或检验假设，并针对假设的重复进行评估。您可以采用许多标准来评估过程。使它成为常客的标准是，人们在乎如果一遍又一遍地采用相同的程序会发生什么。如果这样做，您将关心常客属性。换句话说：“常客属性是什么？” 表示“如果我们一遍又一遍地重复该过程，将会发生什么？” 现在，是什么使这些常客属性很好是另一层标准。被认为是良好属性的最常见的频繁性属性是一致性（在估计中，如果您继续采样，估计量将收敛到您要估计的固定值），效率（如果您继续采样，则估计量的方差将变为零），这样您就会越来越准确），覆盖几率（在该过程的许多重复中，95％的置信区间将在95％的时间内包含真实值）。前两个被称为大样本属性，第三个被称为Neyman真正的频率论属性，因为它不一定需要使用渐近结果。因此，总而言之，在常客制框架中，存在着真实和未知的价值。您估计了该估计，并且总是（除非是在一次偶然的不幸事故中）估计错了，但是您试图通过要求至少在假设上无限期地重复您的估计来挽救自己，您将越来越少犯错或你知道你一定时间是对的。考虑到这不是您的问题，我将不讨论它是否有意义，也不会讨论证明它合理性所需的其他假设。从概念上讲，这是指频繁使用的属性，在这种情况下通常是好的手段。

我将在本文结束时为您指出，以便您自己判断是否具有合理的频繁性属性是否有意义以及贝叶斯过程的含义（您将在此处找到更多参考）：

Little，R.和其他人，（2011年）。经过校准的贝叶斯，通常用于统计，尤其用于丢失数据。统计科学，26（2），162–174。

— 迪奥戈
source