我们如何定义“可重复的研究”？

现在已经提出了几个问题，我一直在想一些事情。整个领域是否朝着着眼于原始数据和相关代码可用性的“可重复性”发展？

总是告诉我，可重复性的核心不一定像我所说的那样具有单击“运行”并获得相同结果的能力。数据和代码方法似乎假定数据是正确的-数据本身没有缺陷（在科学欺诈的情况下，通常证明是错误的）。它还关注目标人群的单个样本，而不是发现在多个独立样本上的可重复性。

那么为什么要强调能够重新运行分析，而不是从头开始重复研究呢？

在下面的评论中提到的文章可在此处获得。

“可再现的研究”作为可再现的分析

可再现性研究是在某些研究领域中使用的术语，专门指进行分析以使

• 代码将原始数据和元数据转换为处理后的数据，
• 代码对数据进行分析，并且
• 代码将分析合并到报告中。

共享这些数据和代码后，其他研究人员可以：

• 执行原始研究人员未报告的分析
• 检查原始研究人员进行的分析的正确性

可以在有关Sweave的技术讨论中看到这种用法。例如，弗里德里希·雷施（Friedrich Leisch）在Sweave的上下文中写道：“如果数据或分析发生变化，报告可以自动更新，从而可以进行真正可重复的研究。” 在CRAN可再现性研究任务视图中也可以看到，它指出：“可再现性研究的目标是将特定的说明与数据分析和实验数据联系起来，以便可以重新创建，更好地理解和验证奖学金。”

术语“可重复性”的更广泛使用

可再现性是科学的基本目标。这不是新的。研究报告包括方法和结果部分，其中应概述如何生成，处理和分析数据。一般规则是，所提供的详细信息应足以使具有适当能力的研究人员能够获取所提供的信息并复制研究。

可复制性也与可复制性和概括性概念密切相关。

因此，将“可重复性研究”一词用在Sweave之类的技术上，实际上是一个用词不当，因为它表明相关性比其涵盖的范围要广。另外，当向未使用过Sweave之类的技术的研究人员介绍Sweave等技术时，当我称此过程为“可重复的研究”时，这些研究人员通常会感到惊讶。

比“可重复的研究”更好的术语

鉴于在类似Sweave的上下文中使用的“可再现性研究”仅与可再现性研究的一个方面有关，也许应该采用其他术语。可能的替代方法包括：

• 可重复的分析：
  • John D Cook使用了这个术语
  • 詹妮弗·布莱克福德（Jennifer Blackford）使用“可靠且可重复的分析”一词
• 可重现的数据分析
  • Christophe Pouzat使用了这个术语
• 可重复的统计分析
  • 范德比尔特（Vanderbilt）的一个生物统计学网站使用“可重复的统计分析和报告活动”一词
• 可重复报告

以上所有术语都更准确地反映了类似Sweave的分析所需要的内容。可重复的分析又短又甜。添加“数据”或“统计”进一步澄清了事情，但同时也使术语既长又窄。此外，“统计”具有狭义和广义的含义，并且当然在狭义的含义内，许多数据处理不是统计的。因此，术语“可重复分析”所隐含的广度具有其优点。

不仅仅是关于可重复性

术语“可重复性研究”的另一个其他问题是类似Sweave的技术的目标不仅仅是“可重复性”。有几个相互关联的目标：

• 重现性
  • 是否可以轻松地重新运行分析以将原始数据转换为具有相同结果的最终报告？
• 正确性
  • 数据分析是否符合研究人员的意图？
  • 研究者的意图是否正确？
• 开放性
  • 透明，负责
    • 其他人可以检查并验证所执行分析的准确性吗？
  • 可扩展性，可修改性
    • 其他人是否可以修改，扩展，重用和合并数据，分析或两者，以创建新的研究成果？

有一种观点认为，可重复的分析应促进正确的分析，因为有书面的分析记录可以检查。此外，如果数据和代码是共享的，它会建立问责制，从而激发研究人员检查其分析结果，并使其他研究人员能够记录更正。

可重现的分析还与开放式研究的概念非常吻合。当然，研究人员可以自己使用类似Sweave的技术。开放的研究原则鼓励共享数据和分析代码，以实现更大的重用性和责任感。

这并不是对“可复制”一词的批评。相反，它只是强调了使用类似Sweave的技术对于实现开放科学研究目标是必要的，但还不足以实现。

以易于执行的形式访问数据和代码进行分析是可重复研究的必要条件。确认分析有效后，您可以在怀疑原始作者的地方替换您自己的代码/数据。我想说的是，我阅读的大多数包含统计数据的论文至少都有一部分方法模糊。我重现这些分析的尝试通常是不成功的（并且总是很费时），但是很难说这是由于欺诈，人为错误还是（更可能是）我以不同于作者的方式解决这些歧义。因此，具有论文的数据+代码并不能保证其结论是正确的，但是可以更容易地进行批判或扩展。

而且，“可重复的研究”在一定程度上是有问题的。因此，可再现的研究运动可以被视为鼓励比规范“更可再现”的研究，而不是要求研究达到最低限度。我猜想“发布数据和代码”现在很流行，因为这是一个相对简单且无威胁的步骤。

能够重新运行所有内容是可重复研究的起点。它可以表明您实际上正在使用相同的过程。在那之后（只有在那之后），您才能进行同行的研究。换句话说，严格的可重复性不应被视为研究正在进行的时间，而应被视为人们共识的里程碑，共识。这不是进一步发展的基础吗？

另外，根据Donoho的讨论 （请参阅第2节“丑闻”），可重复研究的目的还在于测试给定代码的鲁棒性。首先，通过玩代码，进行纸上未进行的sligth修改（因为我们不希望纸上有30个图形……）。我认为文学领域中的可重复研究概念包含具有强大鲁棒性的标志。它几乎包含了进一步发展的想法。