创建模型时，是否应保留“没有统计学意义的协变量”？

我在模型的计算中有几个协变量，但并不是所有协变量都具有统计学意义。我应该删除那些不是吗？

这个问题讨论了这种现象，但没有回答我的问题： 如何解释ANCOVA中协变量的非显着影响？

但是，该问题的答案中没有任何内容建议删除不重要的协变量，因此，现在我倾向于认为它们应该保留。即使在阅读该答案之前，我也想过，因为协变量仍然可以解释某些方差（从而有助于模型），而不必解释超出某个阈值（显着性阈值，我认为不适用于协变量）的数量。

在CV上还有另一个问题，对于这个问题的答案似乎暗示着应将协变量保持在无关紧要的位置，但是对此尚不清楚。（我想链接到该问题，但是我暂时无法再次找到它。）

因此...模型计算中是否应保留未显示统计显着性的协变量？（我已经编辑了这个问题，以阐明无论如何计算都不会在模型输出中显示协变量。）

为了增加复杂性，如果协变量对于数据的某些子集（必须单独处理的子集）在统计上有意义，该怎么办。我将默认保留这样的协变量，否则在其中一种情况下，要么必须使用不同的模型，要么在统计上缺少重要的协变量。但是，如果您也对此拆分案有答案，请提及它。

您已经获得了几个很好的答案。有保留协变量的原因和降低协变量的原因。在大多数情况下，统计意义不应该成为关键因素。

1. 协变量可能是如此重要，以至于必须存在。
2. 协变量的影响大小可能很大，即使它并不显着。
3. 协变量可能会影响模型的其他方面。
4. 协变量可能是您的假设表达方式的一部分。

如果你是在一个非常探索模式和协变量是不是在文学的重要和效果尺寸小和协变量对模型的影响不大，并协变量是不是在你的假设，那么你也许可以删除它只是为了简单。

长答案是“是”。删除微不足道的预测变量的原因很少，而没有删除的原因则很多。就解释它们而言，您可以像解释其他预测变量那样忽略值：在预测变量的有趣范围内具有置信区间的影响。$P$

一个有用的见解是，就统计学而言，协变量的确没有任何具体信息，请参见例如，帮助将协变量写入回归公式。顺便说一句，它可以解释为什么没有covariate标签。因此，即使没有明确提到ANCOVA，这里和其他地方关于线性模型中非有效项的材料也很重要，逐​​步回归的众所周知的批评者也是如此。

一般来说，仅根据重要性选择预测变量是个坏主意。如果由于某种原因您无法提前指定模型，则应考虑其他方法，但是如果您计划首先将它们包括在内，并据此收集数据并且没有遇到特定问题（例如共线性），则保留它们。

关于保留这些理由的原因，您的反对意见在我看来似乎很合理。另一个原因是，删除不重要的预测变量会使基于模型的推论产生偏差。看待所有这一切的另一种方法是，问问在事实发生后删除这些协变量会得到什么。

我们确实需要有关您的目标的更多信息才能回答此问题。回归用于两个主要目的：

1. 预测
2. 推理

预测是当您的目标是能够为样本中未包含的观察值猜测结果变量的值时（尽管通常它们在样本数据的范围内；否则，有时会使用“预测”一词）。预测对于广告目的，财务等很有用。如果您只是对预测某些结果变量感兴趣，那么我无能为力。

推理就是乐趣所在（即使不是金钱所在）。推论是您试图得出有关特定模型参数的结论的方法，通常是确定一个变量对另一个变量的因果关系。尽管有普遍的看法，回归分析仍不足以进行因果推理。您必须始终了解有关数据生成过程的更多信息，以了解您的回归是否能捕捉因果关系。通过回归进行因果推理的关键问题是误差的条件均值（取决于回归变量）是否为零。从回归变量的p值无法得知。可能存在无偏或一致的回归估计量，但是与将一些明显的控件放入回归并希望您获得重要的估计值相比，这需要更多的工作。精通“度量标准：从因果到结果的路径，主要是无害计量经济学”。Mastering Metrics易于阅读且价格便宜，但要注意，它不是在处理回归方法，而是在说明回归结果。为了很好地介绍观察研究设计的好坏，我推荐戴维·弗里德曼（David Freedman）（1991）“统计模型和鞋革”，《社会学方法论》，第21卷（简短而易读，并附有引人入胜的示例）。

顺便说一句：在大多数大学课程中，对统计技术对良好研究设计的痴迷是我的教学法。

除了激发当前这个问题的重要性外，第二点是：预测和推理之间的差异是为什么大数据不能替代科学。