对认为置信区间太宽以至于无用的客户要说些什么？

22

假设我是一名顾问，我想向我的客户解释置信区间的用处。客户对我说，我的间隔太宽而无法使用，他宁愿使用一半的间隔。

我应该如何回应？

confidence-interval interpretation

— 学生_多元化
source

15

向他们收费以收集更多数据。

— shabbychef 2012年

2

这使我想起了有关统计咨询客户类型的必读文章。

@Procrastinator您介意将链接发布到论文的PDF版本吗？

— 假设正常的2012年

1

@Max，似乎只能通过JSTOR获得；发布PDF将会违反JSTOR（相当合理的）服务条款...

— Ben Bolker 2012年

@shabbychef-通常，这是提高准确性的非常低效的方法，尤其是在样本已经很大的情况下。例如，要将标准均值ci的ci宽度减半，您需要将样本大小增加四倍。最好花一些时间在改进模型之前，将最大成本增加四倍！

— 概率

16

这取决于客户端“有用”的含义。客户的建议是您任意缩小间隔，这似乎反映出一种误解，即通过缩小间隔可以神奇地降低误差幅度。假设数据集已经被收集并且是固定的（如果不是这样，@ shabbychef在评论中的笑话会为您提供答案），那么对客户的任何回应都应强调并描述为什么没有“免费午餐”，并且您正在通过缩短间隔来牺牲一些东西。

具体来说，由于数据集是固定的，因此减小置信区间宽度的唯一方法是降低置信度。因此，您可以在更确信包含真实参数值的更大间隔或不那么确定的较窄间隔之间进行选择。也就是说，更大的置信区间更加保守。当然，您永远不能盲目地优化宽度或置信度，因为可以通过覆盖整个参数空间来空虚地生成置信区间，尽管覆盖度为，但可以无限地缩小置信区间。 $100 \%$ $0 \%$

保守程度较低的间隔是否更有用显然取决于上下文以及该间隔的宽度如何根据置信度水平变化，但是我在设想使用低得多的置信度水平来获取应用程序时遇到了麻烦间隔越窄越好。另外，值得指出的是，置信区间已经变得无处不在，以至于很难证明为什么使用置信区间。 $95 \%$ $60\%$

— 巨集
source

6

您不能简单地缩小置信区间而不放弃任何东西，但是有一点灵活性，类似于一尾测试和二尾测试之间的区别。另外，相同数据的更好模型可能会产生不同（可能更小）的置信区间。

— 道格拉斯·扎里

3

我认为您要卖的最后一部分短一点。95％CI 的普遍存在是一种文化现象。在某些情况下，其他值很常见，例如在绘制时，误差线通常是标准误差（即68％CI的误差），我敢肯定您很熟悉。（+1，btw）

— gung-恢复莫妮卡

2

从本质上讲，这个答复是好的，但我认为第二段过于局限。统计员带给该方的一个巨大好处是，可以更好地满足客户需求的替代程序的知识。在许多情况下，可以通过选择其他CI程序来缩小CI的宽度。这既不需要收集更多数据（恐怕是@shabbychef -1），也不需要降低置信度。真正困难的部分是解释在事后选择程序的CI 。这就是为什么我们希望在分析（甚至收集）数据之前进行对话！

— ub

7

我要对此做出回应，Macro，因为在实践中，如此僵化并不能很好地发挥作用。风险是客户会忽略您的建议，而向不知道更好的人寻求帮助（但声称拥有足够的统计专业知识）。OP的场景是一个熟悉且常见的场景：最好将其视为一个向客户提供信息和教育的机会，并为他们提供替代方案（以及对其优缺点的坦率讨论）。我们需要说“是的，CI可以做得更小，但这是这样做的一些后果”，而不是“不，您被搞砸了”。

— ub

2

在可能有更有效的替代方法的情况下，@ whuber（+1）是一个好点-这是在收集/分析数据之前向统计学家咨询的另一个原因。

— 2012年

2

我建议这完全取决于您的客户想要使用置信区间的目的。

某种报告/出版物/等。通常报告95％CI。我可能会很好地告诉他“这在统计上是没有道理的”，然后根据客户是否倾向于遵从您的专业知识而留在那儿。如果他们没有，您就必须根据自己的需求对自己的专业舒适度做出判断。
某种内部文件-我会明确表示您不同意，并明确指出读者现在正在查看的是哪种置信区间，因为它不是95％。
作为估计不确定性的一种方法，假设要确定要进行多少敏感性分析？我给他们一个数字，显示95％CI和68％CI标记的全部分布，让他们掌握。

如果我设法避免“做一个更大的研究”成为我的第一件事，我将为自己感到骄傲。

— 方铁
source

1

+1。我认为您在（2）下所做的评论可能也与（1）所述的情况有关。

— 2012年

0

像大多数人一样使用标准偏差。当人们习惯68％CI时，95％CI可能会令人恐惧。

— Geoph Twombly
source

4

在我看来，在这种情况下，我们仅感兴趣于显示样本均值的准确性，而不是单个值的变异性。为什么您会特别推荐标准差？

— chl 2012年

Fisher最初建议使用95％CI作为2个标准差的近似值。

— Patrick Caldon 2012年

1

@Patrick，听起来好像是您错过了chl的要点（以及错误地表述了Fisher的人，他没有犯这样的错误），或者您在打算“标准错误 ”的地方写了“标准偏差”。当然，大多数配置项基于标准误差，而不是标准差。2个SD都不近似于CI，反之亦然。

— ub

当然，标准误差只是平均值的标准偏差，因此只是术语。也就是说，说配置项不是基于标准差的说法并不是真的。它们不是基于样本的标准偏差，而是基于平均值的标准偏差。

— 亚伦-恢复莫妮卡2012年

2

并非所有估计值都是平均值。除均值外，估计还有标准误差，正是估计的标准误差用于根据估计的可变性为参数生成置信区间，如whuber所建议的那样。

— Michael R. Chernick 2012年

0

您可以在某个标准水平（例如90％或95％）上提供置信区间。客户可以判断间隔是否太宽而无法使用。但这当然并不意味着您可以缩短它以使其有用。您可以建议，在给定的置信度下，增加样本大小将减小间隔的宽度，因为该间隔大约减少了样本大小的平方根。

— 迈克尔·R·切尼克
source