在一个经常由外行进行分析的时代，我们是否夸大了模型假设和评估的重要性？

底线是，我对统计知识了解的越多，对本领域发表的论文的信任就越低；我只是认为研究人员的统计数据不够好。

我是一个外行，可以这么说。我接受了生物学方面的培训，但没有接受过统计学或数学方面的正规教育。我喜欢R，并且经常努力阅读（并理解...）进行研究时所用方法的一些理论基础。如果今天进行分析的大多数人实际上没有经过正式培训，这也不会令我感到惊讶。我发表了大约20篇原始论文，其中一些已被知名期刊所接受，而统计学家经常参与到审阅过程中。我的分析通常包括生存分析，线性回归，逻辑回归，混合模型。审阅者从未询问过模型假设，拟合或评估。

因此，我从未真正对模型假设，拟合和评估感到困扰。我从一个假设开始，执行回归，然后给出结果。在某些情况下，我努力评估了这些情况，但最终我总是以“ 好吧，它并不能满足所有假设，但是我相信结果（“主题知识”），并且它们是合理的，所以很好 ”和在咨询统计学家时，他们似乎总是同意。

现在，我已经与其他自己进行分析的统计学家和非统计学家（化学家，医师和生物学家）进行了交谈。似乎人们对所有这些假设和正式评估并没有太在意。但是在简历上，有很多人在询问残差，模型拟合，评估残差的方法，特征值，向量，等等。让我这样说，当lme4警告大型特征值时，我真的怀疑它的许多用户是否在意解决这个问题。

值得付出额外的努力吗？是否所有发表的结果中的大多数都不遵守这些假设，甚至可能没有对它们进行评估？这可能是一个日益严重的问题，因为数据库每天都在增长，并且有一种观念认为，数据越大，假设和评估就越不重要。

我可能是完全错误的，但这就是我对此的看法。

更新： 引自StasK的引用（如下）：http : //www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509

我受过统计学家的培训，而不是生物学家或医学博士。但是我进行了大量医学研究（与生物学家和医学博士合作），作为研究的一部分，我学到了很多有关几种不同疾病的治疗方法。这是否意味着如果一个朋友问我所研究的疾病，我可以给他们写一张我知道通常用于该疾病的药物处方？如果我要这样做（我不这样做），那么在很多情况下，它可能会行得通（因为医生只会开相同的药），但总有可能他们有过敏/药物互动/医生可能会问的其他问题，我不会这样做，最终造成的危害大于弊。

如果您在进行统计时不了解自己的假设和可能出了什么问题（或在寻求统计信息的过程中咨询统计学家），那么您正在练习统计错误。在大多数情况下，这可能是可以的，但是如果一个重要的假设不成立，而您只是忽略了它，那该怎么办？

我与一些在统计学上有能力的医生合作，他们可以做很多自己的分析，但是他们仍然会超出我的范围。我通常会确认他们做了正确的事，并且可以自己进行分析（他们通常对确认表示感谢），但有时他们会做一些更复杂的事情，当我提到更好的方法时，他们通常会将分析移交给其他人。给我或我的团队，或者至少让我参与其中。

因此，我对您的标题问题的回答是“不”，我们并不是在夸大其词，而是应该更多地强调一些事情，以使外行人更有可能至少与统计学家再次核对其程序/结果。

编辑

这是基于以下亚当评论的补充（对于另一条评论会有点长）。

亚当，谢谢您的评论。简短的回答是“我不知道”。我认为在提高文章的统计质量方面正在取得进展，但是事情以许多不同的方式发展得如此之快，以至于需要一段时间才能保证质量。解决方案的一部分将重点放在Instats课程中违规的假设和后果上。在统计学家教课时，这种情况更有可能发生，但需要在所有课上进行。

一些期刊的情况更好，但我希望看到特定的统计学家审稿人成为标准。几年前有一篇文章（对不起，参考文献不多，但无论是在JAMA还是《新英格兰医学杂志》上）都被发表的可能性更高（尽管相差不大如果是生物统计学家或流行病学家之一，则可以在JAMA或NEJM中进行。

最近发表的一篇有趣的文章是：http : //www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412，其中讨论了一些相同的问题。

好吧，是的，假设很重要-如果它们根本不重要，我们就不需要制作它们，对吧？

问题是它们有多重要-随程序和假设的不同而不同，您要对结果提出什么主张（以及这些主张中听众的容忍度是近似的，甚至是不准确的）。

因此，以假设为关键的情况为例，请在方差F检验中考虑正态性假设。即使分布上的适度变化也可能对过程的属性（实际显着性水平和功效）产生相当大的影响。如果您声称要在5％的水平上进行测试，而实际上却是在28％的水平上进行测试，则从某种意义上说，您所做的事情与对实验进行方式的谎言相同。如果您认为这样的统计问题不重要，请提出不依赖它们的论点。另一方面，如果您想使用统计信息作为支持，则不能曲解地表示该支持。

在其他情况下，特定的假设可能没有那么严格。如果您在线性回归中估算系数，而又不在乎统计意义是否重要，又不在乎效率，那么，是否保持同方差假设并不一定重要。但是，如果您要说它具有统计意义，或显示出置信区间，是的，这当然很重要。

尽管Glen_b给出了一个很好的答案，但我想补充一点。

一个考虑因素是您是否真的想获得科学真理，这将需要完善您的结果并弄清楚您的方法是否可辩护的所有细节，而不是发表“嗯，无论如何，没人会检查我学科中的这些特征值”模式。换句话说，您必须问自己内心的专业良知，您是否正在尽自己最大的能力。在您的学科中提及较低的统计素养和宽松的统计实践并不能令人信服。如果审查人员来自与这些宽松标准相同的学科，那么他们通常最多只能提供一半的帮助，尽管一些顶级机构采取了明确的举措将统计专业知识带入审查流程。

但是，即使您是一个愤世嫉俗的“发布或灭亡”的萨拉米切片机，其他考虑因素基本上还是您研究声誉的安全性。如果您的模型失败了，而您却不知道，那您就会冒着被那些可以使用更精致的工具将斧头带入模型检查裂缝中的人暴露的风险。诚然，尽管科学界对信誉和可复制性的名义上的哲学要求，但很少有人尝试复制他人的研究，因此，这种可能性似乎很小。（我参与了几篇论文的撰写，基本上以“哦，天哪，他们真的并提供了对同行评审的已发表半统计方法的批评和完善。）但是，如果暴露出统计分析的失败，通常会引起大而令人不快的飞溅。

违反假设的性质可能是未来研究的重要线索。例如，在Cox生存分析中违反比例风险假设的原因可能是由于变量对短期生存影响较大，而对长期生存影响很小。这是通过在统计测试中检查假设的有效性而可以获得的意外但潜在的重要信息。

因此，如果您不检验基本假设，那么您自己（而不仅仅是文献）可能会造成伤害。随着高质量期刊开始要求进行更复杂的统计审查，您会发现自己经常被要求这样做。您不希望处于统计审查员要求的测试破坏您认为一直是论文重点的位置。

我将从中间角度回答。我不是统计学家，我是化学家。但是，我在过去的10年中一直专注于化学计量学=化学相关数据的统计数据分析。

我只是认为研究人员的统计数据不够好。

可能就是这种情况。

简洁版本：

现在介绍假设。恕我直言，这里的情况太过复杂，无法一言以蔽之。为了判断违规是无害的还是至关重要的，有必要了解该假设究竟需要什么以及该假设可能以何种方式被违反。这需要统计信息和应用知识。
但是，作为一个面临无法实现的假设的从业人员，我还需要其他一些东西：我想拥有一个“第二道防线”，例如，它可以让我判断违规行为实际上是在引起麻烦还是对他们无害。

长版：

• 从实践的角度来看，一些典型的假设几乎从未得到满足。有时我可以对数据制定合理的假设，但是从统计的角度来看，问题常常变得如此复杂，以至于解决方案尚不为人所知。到目前为止，我相信做科学意味着您将不仅可能在您的特定学科中而且在其他学科（这里是应用统计学）中都已广为人知。

• 在其他情况下，某些违规通常通常是无害的-例如，需要LDA的协方差相同的多元正态性以表明LDA是最佳的，但众所周知，投影遵循启发式方法，如果假设不满足。哪些违规行为可能会造成麻烦：在实践中，众所周知，分发中的尾巴过多会导致LDA出现问题。
  不幸的是，这种知识很少将其浓缩成一篇论文，因此读者不知道作者是否在考虑了应用程序和模型的特性之后是否决定了他们的模型，或者他们只是选择了什么模型他们碰到了。

• 有时会演变出实用的方法（启发式方法），从实用的角度来看非常有用，即使要花数十年才能了解它们的统计属性（我正在考虑PLS）。

• 发生的另一件事（并且应该发生更多）是可以监视（衡量）违规的可能后果，从而可以确定是否存在问题。对于应用程序，也许我不在乎我的模型是否最佳，只要它足够好即可。
  在化学计量学中，我们非常注重预测。在不满足建模假设的情况下，这提供了很好的解决方法：无论这些假设如何，我们都可以衡量模型是否运行良好。从实践者的角度来看，我要说的是，如果您进行建模并报告诚实的最新验证，则可以在建模过程中做任何您想做的事情。
  对于光谱数据的化学计量分析，我们处于不考虑残差的地步，因为我们知道模型很容易过拟合。相反，我们着眼于测试数据性能（以及可能与训练数据预测性能的差异）。

• 在其他情况下，虽然我们无法准确预测违反哪个假设会导致模型崩溃，但是我们能够相当直接地衡量严重违反假设的后果。
  下一个例子：我通常处理的研究数据比每个变量的病例的统计经验法则建议的样本大小要低几个数量级（以保证稳定的估计）。但是，如果无法满足此假设，那么统计资料通常不会在乎实际操作。也没有如何衡量您在这方面是否真的遇到麻烦。但是：这些问题在更多的应用学科中得到了解决。事实证明，通常很容易直接测量模型的稳定性，或者至少测量您的预测是否不稳定（在此处阅读有关重新采样验证和模型稳定性的CV）。并且有一些方法可以稳定不稳定的模型（例如装袋）。

• 作为“第二道防线”的示例，请考虑重采样验证。通常最严格的假设是所有替代模型都等同于在整个数据集上训练的模型。如果违反了这一假设，我们将得到众所周知的悲观偏见。第二行是，至少代理模型彼此等效，因此我们可以汇总测试结果。

最后但并非最不重要的一点，我想鼓励“客户科学家”和统计学家互相交流。恕我直言，统计数据分析不是单向的。在某些时候，每一方都需要获得另一方的一些知识。我有时会帮助统计学家，化学家和生物学家之间进行“翻译”。统计人员可以知道该模型需要正则化。但是，要在LASSO和山脊之间进行选择，他们需要知道只有化学家，物理学家或生物学家才能知道的数据属性。

鉴于简历是由统计学家和对统计数据感到好奇的人组成的，即使他们不称职，我也对所有强调强调理解假设的答案并不感到惊讶。我原则上也同意这些答案。

但是，考虑到当前发布的压力和统计完整性的低标准，我不得不说这些答案很幼稚。我们可以告诉人们他们整天应该做什么（即检查您的假设），但是他们将做什么完全取决于制度上的激励。OP自己声明，他在不了解模型假设的情况下设法发表了20篇文章。根据我自己的经验，我并不难以相信。

因此，我想扮演魔鬼的拥护者，直接回答OP的问题。这绝不是促进“良好实践”的答案，而是反映出如何讽刺地实践事物的一种答案。

值得付出额外的努力吗？

不，如果目标是发布，那么花所有时间了解模型是不值得的。只需遵循文献中流行的模型即可。这样，1）您的论文将更容易通过审核，并且2）被暴露于“统计上的无能”的风险很小，因为暴露您意味着暴露整个领域，包括许多资深人士。

是否所有发表的结果中的大多数都不遵守这些假设，甚至可能没有对它们进行评估？这可能是一个日益严重的问题，因为数据库每天都在增长，并且人们认为数据越大，假设和评估就越不重要。

是的，大多数发布的结果可能都不正确。我参与实际研究越多，我认为它的可能性就越大。

最简洁的答案是不。” 统计方法是根据一系列假设制定的，这些假设必须满足才能使结果有效。因此，有理由认为，如果不满足假设，则结果可能无效。当然，尽管违反了模型假设，但某些估计仍可能是可靠的。例如，尽管违反了IIA假设，多项式logit仍然表现良好（请参阅下面参考文献中的Kropko [2011]论文）。

作为科学家，即使现场人员不在乎是否已达到假设条件，我们也有义务确保在那里得出的结果是有效的。这是因为科学建立在这样的假设之上，即科学家在追求事实时会以正确的方式做事。我们信任我们的同事在将其发送到期刊之前先检查他们的工作。我们相信裁判能够在稿件发表之前对其进行审阅。我们假设研究人员和裁判员都知道自己在做什么，因此可以信任在同行评审期刊上发表的论文的结果。我们知道，在现实世界中，这并非总是正确的，因为文献中的文章数量之多，最终导致您摇摇头并注视着受人尊敬的期刊中明显被樱桃挑选的结果（“ Jama发表了这篇论文？！ ”）。

所以不，重要性不可低估，尤其是因为人们相信您（专家）会尽职调查。您至少可以做的是在论文的“限制”部分中谈论这些违规行为，以帮助人们解释您的结果的有效性。

参考

Kropko，J.2011。政治研究的离散选择和时间序列截面方法的新方法（论文）。UNC教堂山，北卡罗来纳州教堂山。

如果您需要非常高级的统计信息，则最有可能是因为您的数据很混乱，大多数社会科学就是这种情况，更不用说心理学了。在那些拥有良好数据的字段中，您只需要很少的统计信息。物理学是一个很好的例子。

考虑伽利略在他著名的重力加速度实验中的这段话：

取一块木制的模制件或小物件，长约12肘，宽半肘，宽三指。它的边缘被切开了一个多于一个手指的通道。使该凹槽非常笔直，光滑且抛光，并用羊皮纸衬里，也尽可能平滑和抛光，我们沿着它滚动了一个坚硬，光滑且非常圆形的青铜球。将板放置在倾斜位置后，通过将一端提升到另一端一个或两个肘位，我们沿通道滚动了球，正如我刚才所说的那样，以目前要描述的方式指出了所需的时间下降。我们多次重复该实验，以精确地测量时间，以使两次观测之间的偏差永远不会超过脉搏的十分之一。完成此操作并确保了其可靠性之后，我们现在将球滚动到通道长度的四分之一处。在测量了下降时间之后，我们发现它恰好是前者的一半。接下来，我们尝试其他距离，将整个长度的时间与一半的时间，三分之二或四分之三的时间进行比较，或者对任何分数进行比较。在这样的实验中，重复了整整一百次，我们总是发现所遍历的空间彼此之间都是时间的平方，这对于平面的所有倾斜度（即通道沿其滚动的通道）都是正确的球。我们还观察到，对于飞机的各种倾斜度，下降时间正好相互精确地对应着该比率，如下所述，

为了测量时间，我们使用了放置在高处的大容器；在该容器的底部焊接一条小直径的管子，以产生一束细小的水流，在每次下降期间，无论是通道的整个长度还是部分长度，我们都将其收集在小玻璃杯中。每次下降后，如此精确称重所收集的水的重量；这些权重的差异和比率为我们提供了时间的差异和比率，其准确性很高，尽管多次重复了该操作，但结果没有明显的差异。

请注意我突出显示的文本。这就是好的数据。它来自基于良好理论的精心计划的实验。您不需要统计信息即可提取您感兴趣的内容。当时没有统计信息，也没有计算机。结果？一个基本的基本关系仍然存在，可以由六年级生在家中进行测试。

我从这个很棒的页面上偷了报价。

$\chi^2$

这个问题似乎是职业正直的案例。

问题似乎在于：或者（a）没有足够的非专业人士对统计分析进行严格的评估，或者（b）一个常识不足以识别统计错误（例如2型错误）？

我对我的专业领域非常了解，当我接近专业领域时，可以要求专家提供意见。我已经看到人们在没有足够知识的情况下使用F检验（在Excel中为R平方）之类的东西。

以我的经验，由于我们渴望促进统计，教育系统过度简化了工具，并低估了风险/极限。这是其他人经历过并会解释这种情况的共同主题吗？