我喜欢G van Belle撰写的有关统计经验法则的书，在较小程度上，我喜欢Phillip I Good和James W. Hardin 撰写的统计学中的常见错误（以及如何避免错误）。当解释实验和观察研究的结果时，它们解决了常见的陷阱，并为统计推断或探索性数据分析提供了实用建议。但是我感到有些缺乏“现代”指南，特别是随着在各个领域中对计算和鲁棒统计的使用不断增长，或者在临床生物统计学或遗传流行病学等领域引入了机器学习社区的技术。
除了可以在其他地方解决的计算技巧或数据可视化中的常见陷阱之外，我想问一下：对于高效的数据分析，您建议的最高经验法则是什么？（请为每个答案制定一条规则）。
我正在考虑您可以向同事，没有统计学建模背景的研究人员或中高级课程的学生提供的指导原则。这可能与数据分析的各个阶段有关，例如采样策略，特征选择或模型构建，模型比较，后估计等。
Answers:
开始分析之前，请不要忘记进行一些基本数据检查。特别是，请查看您要分析的每个变量与ID号，数据收集的日期/时间或类似数据的散点图。当摘要统计数据未显示任何异常情况时，眼睛通常会发现会显示问题的模式。如果要使用对数或其他变换进行分析，也可以将其用于绘图。
保持分析可重复。审稿人，您的老板或其他人最终会问您，您得出结果的准确程度如何-大概在您进行分析后六个月或更长时间。您将不会记得如何清理数据，进行了哪些分析，为什么选择了所使用的特定模型……而重建所有这些都是很痛苦的。
结论：使用某种脚本语言，在您的分析脚本中添加注释，并保留它们。使用的内容（R，SAS，Stata等）不如具有完全可复制的脚本重要。拒绝不可能或尴尬的环境。
每个答案一个规则;-)
进行研究之前，请与统计学家交谈。如果可能，在申请补助金之前。帮助他/她了解您正在研究的问题，获得有关如何分析您将要收集的数据的意见，并思考这对您的研究设计和数据要求意味着什么。也许统计人员/女孩建议做一个分层模型来说明谁诊断了患者-然后您需要跟踪谁诊断了谁。听起来微不足道，但是在收集数据（而不收集关键数据）之前，最好先考虑一下。
相关说明：在开始之前进行功率分析。没有为没有足够大的样本预算而感到沮丧。在考虑预期的影响大小时，请记住出版偏见-您将要找到的影响大小可能会比（有偏见的）文献所预期的要小。
如果要在两种分析数据的方法之间做出选择，请尝试两种方法，看看它们是否有所不同。
这在许多情况下很有用：
这不应免除人们对问题的思考，但至少可以使人对实质性发现对选择的鲁棒性有一个了解。
质疑您的数据。在廉价RAM的现代时代，我们经常处理大量数据。一个“胖手指”错误或“失去小数位数”很容易成为分析的主导。如果不进行一些基本的健全性检查（或按照此处其他人的建议来绘制数据），则会浪费很多时间。这还建议使用一些基本技术来增强对异常值的“鲁棒性”。
总是问自己“这些结果意味着什么以及如何使用它们？”
通常，使用统计信息的目的是帮助在不确定情况下做出决策。因此，摆在眼前的是很重要的：“根据此分析将做出哪些决策，以及该分析将如何影响这些决策？” （例如发表文章，推荐使用一种新方法，向Y提供$ X资金，获取更多数据，将估计数量报告为E等，等等。。。）
如果您不认为有任何决定要做，那么您会想知道为什么要首先进行分析（因为进行分析非常昂贵）。我认为统计是一种“麻烦”，因为它是达到目的的手段，而不是目的本身。在我看来，我们仅对不确定性进行量化，以便我们可以使用它来做出能够以精确方式解决此不确定性的决策。
我认为这是保持简单为普遍政策的一个原因，因为通常将简单的解决方案与现实世界（并因此与决策所处的环境）联系起来要比复杂的解决方案容易得多。 。通常，更容易理解简单答案的局限性。当您了解简单解决方案的局限性以及复杂解决方案的局限性后，您便可以转向更复杂的解决方案。
可能有很长的清单，但只列举了一些：（无特定顺序）
P值不是概率。具体而言，这不是犯I类错误的可能性。同样，配置项对给定数据也没有概率解释。它们适用于重复实验。
在实践中，与方差相关的问题多数时候都在偏倚中占主导地位，因此方差较小的偏倚估计要好于方差较大的无偏估计（大部分时间）。
模型拟合是一个迭代过程。在分析数据之前，请了解数据源以及适合或不符合描述的可能模型。另外，请尝试对模型中的任何设计问题进行建模。
在分析数据之前，请使用可视化工具查看数据（可能的异常，明显的趋势等以了解数据）。使用可视化方法（如果可能）来查看模型如何适合该数据。
最后但并非最不重要的一点是，将统计软件用于其用途（以使您的计算任务更容易），它们不能替代人类思维。
认为硬关于基础数据生成处理（DGP）。如果要使用的模型不能反映DGP，则需要找到一个新模型。
尽管数据集越来越大，软件功能越来越强大，但是过拟合模型仍然是研究人员的主要危险，尤其是那些尚未因过拟合而被淘汰的研究人员。过度拟合意味着您已经拟合了比数据和最新技术还要复杂的内容。像爱情或美丽一样，很难定义，更不用说正式定义了，但是更容易识别。
最小的经验法则是，对于像经典回归之类的任何估计参数，每个参数都需要10个数据点，如果忽略它，请注意后果。对于其他分析，通常需要做更多工作才能做好工作，尤其是在数据中包含稀有类别的情况下。
即使您可以轻松拟合模型，也应不断担心它的含义以及即使非常相似的数据集也可以复制多远。
在工具变量回归中，始终检查工具的联合意义。Staiger-Stock的经验法则表示F统计量小于10令人担忧，表明您的工具可能很弱，即它们与内生变量的相关性不足。但是，这并不自动意味着F大于10可以保证强大的工具。Staiger和Stock（1997）已表明，如果“小样本”中的工具变量技术与内生变量之间的相关性很弱，则它们可能会严重偏向2SLS。他们的例子是Angrist和Krueger（1991）进行的研究，该研究有300,000多个观察值–关于“小”样本概念的令人不安的事实。
我是数据分析师，而不是统计学家，但这是我的建议。
1）在分析数据之前，请确保您的方法假设正确。一旦看到结果，即使在解决问题并改变结果之后，也很难忘记它们。
2）有助于了解您的数据。我运行时间序列，得出的结果与最近几年的数据相比毫无意义。鉴于此，我回顾了这些方法，发现该方法中模型的平均值在一段时间内扭曲了结果（并且发生了结构破坏）。
3）注意经验法则。它们从各自的数据反映了各个研究人员的经验，如果他们的领域与您的领域大不相同，那么他们的结论可能对您的数据不正确。此外，这令我震惊，统计学家经常在关键点上意见分歧。
4）尝试用不同的方法分析数据，看看结果是否相似。请注意，没有一种方法是完美的，请仔细检查何时可以违反这些假设。