实验设计中的陷阱：避免死实验

我无数次地引用了此报价：

在实验结束后咨询统计学家通常只是要求他进行验尸检查。他也许可以说实验是怎么死的。- 罗纳德·费舍尔（1938）

在我看来，这似乎有些冒昧。我所发现的唯一描述没有良好设计的实验是如何失败的例子就是缺乏控制或控制不力。例如，控制肥料施用但无法控制施用所需环境的实验。也许只有我一个人，但是快速浏览Wikipedia中有关Fisher的设计原理的部分似乎可以覆盖大多数基础知识。

作为统计学家，您多久会看到与实验相关的数据问题设计？它们是否总是与费舍尔提到的少数因素有关，还是与我们进行非统计培训的科学家应注意的其他严重陷阱有关？

我相信，费舍尔在他著名的名言中所表达的意思不仅仅是说“我们将为研究做一个完整的因子设计”或另一种设计方法。在计划实验时咨询统计学家意味着以一种智能的方式思考问题的各个方面，包括研究目标，相关的变量，如何收集它们，数据管理，陷阱，对实验进行情况的中间评估以及许多其他方面更多。通常，我发现重要的一点是，要亲眼目睹所提议的实验的各个方面，以真正理解困难所在。

我的经验主要来自医疗应用。我遇到的一些问题可以通过事先咨询统计学家来避免：

• 当然，样本数量不足是该列表上的第一名。通常，以前的研究会获得数据，并且很容易给出所需样本量的合理估计。在这些情况下，唯一的办法通常是对数据进行纯粹的描述性分析，并承诺在论文中进行进一步的研究（在医生投入宝贵的时间后，通常不选择出版）。
• 执行实验留给方便和机会，而不是设计。我当前正在处理的一个示例是随着时间的推移收集了度量。个体之间的测量时间，测量频率和监视期结束都存在很大差异。增加每个人的测量数量并确定测量日期和监视周期的结束本来是很少的额外工作（在这种情况下），这将对研究非常有益。
• 对可能容易控制的有害因素的控制不佳。例如，有时在样品采集之日和之后进行测量，从而留下样品降解的可能性。
• 数据管理不善，包括我个人最喜欢的：“由于机器的测量不准确，我在将数据放入计算机之前先对其进行了四舍五入”。通常，相关数据只是不被收集，事后不可能得到。

通常，研究的问题甚至可以追溯到研究的最初概念：

• 有时收集数据时没有明确的目标，只是假设它会以某种方式有用。产生假设和“重要结果”留给统计学家。
• 相反，相反：将数据刮擦在一起，目的是证明PI掌握了一个明确的观点，而不管数据和实际可以证明什么。这次，统计学家仅应将其重要性标记在预先写好的结论上，而不必面对数据对结论进行调整。

到目前为止，这主要听起来像是统计学家遭受损失，而当PI尝试提出数据所不支持的结论时，科学完整性可能受到损害（总是很有趣的讨论）。但是实验团队也会遭受痛苦，因为他们在实验阶段做了不必要的额外工作（而没有做必要的工作），并且事后需要花更多的时间与统计学家讨论，因为他们以前没有得到建议。当然，最终论文会更糟，结论更少（更多的“猜想”），并且可能不会成为PI想要的那本影响力很大的期刊。

两个词：样本量...必须进行功率分析。通过从一开始就在团队中聘请合格的统计学家，当您编写稿件或报告的结果和讨论部分时，您可能会避免很多麻烦。

对于主要研究者来说，在与统计学家进行咨询之前，从少于30名受试者的样本中期望“预测模型”或“因果关系”，因此通常会先收集数据。如果PI在收集数据之前咨询了统计学家，那么统计学家将能够在进行适当的分析后通知PI以收集更多的数据/对象或重组其分析计划/项目的目标。

我想这取决于您对“设计”一词的严格解释。有时认为它是指完全随机化与随机化的块等，我认为我没有见过因此而死的研究。另外，正如其他人提到的那样，我怀疑“死亡”过强，但这取决于您对术语的理解。当然，我看过的研究“不重要”（研究人员随后并未尝试发表）。假设这些研究如果进行不同的研究（根据我会给出的明显建议）可能是“重要的”，因此被发表，可能被视为“死亡”。根据这个概念，@ RobHall和@MattReichenbach提出的电源问题非常简单，但是强大的功能不只是样本量，而且这些可能落入“设计”概念的宽松范围内。以下是几个示例：

• 不收集/记录/不丢弃信息
  我从事的一项研究中，研究人员对某种特定特征是否与癌症有关感兴趣。他们从两条品系中获得了小鼠（即，遗传品系，这些小鼠因某些特性而被繁殖），其中一个品系比另一个品系具有更多的性状。但是，所讨论的特征即使实际上可以测量，也没有实际测量。这种情况类似于将连续变量二分或合并，从而降低了功耗。但是，即使结果“显着”，也比我们知道每只小鼠的性状的大小要少。

  同一标题下的另一种情况是不考虑并收集明显的协变量。

• 问卷设计不佳
  我最近从事一项研究，该研究在两种情况下进行了患者满意度调查。但是，没有一个项目被反向评分。似乎大多数患者只是从列表中剔除并标记了所有5分（强烈同意），甚至可能没有阅读这些项目。还有其他一些问题，但这很明显。奇怪的是，负责这项研究的研究员告诉我，她的参加明确地鼓励她不要首先由统计学家审查该研究，即使我们可以免费和方便地进行此类咨询。

在类似问卷调查和心理实验的过程中，我已经看到了此类问题。

在一种情况下，整个实验必须归纳为一种学习经验。存在多个级别的问题，导致结果混乱，但结果似乎为该假设提供了一定的支持。最后，我能够帮助计划一个更严格的实验，该实验实际上具有足够的能力来拒绝该假设。

在另一种情况下，我接受了已经设计和执行的调查，并且存在多个问题，导致几个关注领域受到影响。例如，在一个关键区域，他们询问客户因事件到达而被拒之门外的次数。问题在于问题上没有时间范围，因此您无法分辨尝试参加4次但被拒绝4次的人与尝试参加40次但仅被拒绝4次的人之间的区别。

我不是训练有素的首都统计学家，但是如果他们事先来找我，我将能够帮助他们解决这些问题并获得更好的结果。在第一种情况下，它仍然令人失望，“对不起，您的假设似乎极不可能”，但它可以为他们省去第二次实验。在第二种情况下，它将为他们提供一些重要问题的答案，并使结果更加清晰。（他们的另一个问题是他们随时间推移对多个地点进行了调查，因此至少对某些人进行了多次调查，毫无疑问是“您是否在其他地方进行过此调查？”）

也许本质上不是统计问题，但是在这两种情况下，精明，受过良好教育的领域专家创建的工具都有缺陷，结果是一次死亡实验和一个截肢实验。