无法创建理想实验时该怎么办的教科书/阅读材料？

我的统计培训扎根于数学统计，目前在我的MS上接受这些方法的课程有些震惊。由于我缺乏行业经验，因此目前我很难理解其中一些“应用”方法。

我们在方法类中一直谈论的主题之一是实验设计的思想。

举例来说，我想在一个声称提高K-12学生考试成绩的教育计划中进行有效性实验。

在方法课程中，他们教了以下方法来解决这一问题：确保您有一个好的研究问题，好的数据收集方法，随机实验，均质的治疗组（即，使用该程序治疗过的一组，也许不）理想地大小相等，然后运行检验（或某种非参数假设检验），一切都很好，对吗？$t$

我几乎不相信这就是现实中的运作方式。

我了解到，当然，您可能需要进行一些方便的采样。除此之外，除了从教科书中学到的知识外，我不知道如何实现实验设计。

在实践中是否有教科书，阅读材料等探讨这些问题（理想情况下，不要掩饰数学-我不需要所有内容的详尽证明，但我不想被告知所有内容都是“明显”）？

在两个领域中，几乎总是不可能进行随机实验：它们是社会科学和经济学。在这些情况下，您只能进行“准实验”。尝试使用关键词“ 准实验”，“观察性研究”和“社会科学”进行搜索；你会得到一些好的教科书。我可以推荐两本关于该主题的优秀书籍：Shadish和Cook的第二本书很经典：

1. 反事实与因果推论：社会研究的方法和原则
2. William R. Shadish和Thomas D. Cook的广义因果推论的实验和准实验设计

强烈建议Dehejia和Wahba在非实验环境中使用一种称为“倾向得分匹配”的技术进行因果推论。

其他建议：

1. Paul R. Rosenbaum的观察性研究设计。
2. 统计，社会和生物医学科学的因果推论：Imbens和Rubin的简介。

如果您正在研究时间序列准实验，则上述书籍中有专门的章节，但是Gene v。Glass设计和时间序列实验分析是一本专门的书，我将检查他的文章“ 中断时间序列”。

琐事：Gene V Glass创造了“ 元分析 ”一词。

在这里可以进行准实验设计。在实践中的许多情况下，实验性设计是不实际的，因为尽管进行了治疗，但是您无法对小组进行随机分配，或者可能只有一个小组。

在您的教育示例中，您可能无法控制谁接受治疗，因为您打算对一所学校中的所有孩子进行干预。但是，您也许可以将他们的分数与前几年的分数进行比较，或者可以随机分配教室，以使某些班级比其他班级更早接受干预，或者比较多个学校，包括未接受干预的学校。

在只有一个小组的情况下进行中断的时间序列设计可能是有意义的，但要经常进行测量，并在研究期间中途进行治疗。这样，您可以看到因变量的斜率相对于整个研究的总体斜率是否随治疗时间而改变。测量次数可以低至3，但越多越好。

因此，我的建议是阅读准实验研究设计。

关于因果关系的最彻底，最通用和最精确的方法是Judea Pearl 2009，《因果关系》，第二版，剑桥大学出版社。

特别是，很明显，因果关系并不是真正的统计问题-即使无限的数据也无法解决。它引入了一种精确的语言来表达有关数据的某些次优信息时因果推理所需的定性和理论知识。您将看到随机失败只是众多问题中的一个。它还包含所有其他数学框架，例如Imbens，Rubin和Rosenbaum的框架。我不能高估他的方法是多么的易用，优雅和强大。

我强烈推荐。但是，您应该以非线性方式阅读它（第5章和第11章更容易理解，然后您可以从第1、3和7章开始逐步阅读，以理解一般理论）。

了解了基础知识之后，您可以轻松地研究最新的进展，例如何时可以将因果结果从一个上下文“传输”到另一个上下文，即使使用随机方法也不一定有可能（Pearl，Judea和Elias Bareinboim 2014，“外部有效性：从微积分到人口的可运输性。”统计科学。

也许这些就是您想要的...

实验者统计

实验设计与分析

R的实验设计与分析（与上一个标题无关）

使用数据进行流程改进（在线免费或作为PDF，第5章涵盖DoE）