进行计算实验的准则是什么?


13

物理,生物学,化学等具有不同的实验规则:认为哪些事件相关,如何避免样品污染,如何创建和修复复制过程等。

确保数值实验的准确性和可重复性的标准,协议和最佳做法是什么?


1
我从来没有遇到过一组最佳实践规则,但是基于与正在发布的内容一起工作,我会说,即使是仅针对可重现性,当前实践中也存在重大问题:结果可能会受到硬件平台,操作系统(和版本),编译器(和版本),编译开关和应用程序配置设置。我很少找到足够详细的文档。
njuffa

Answers:


19

有关如何设计,执行和报告计算实验结果的文章很多。这与开源软件和更广泛的“开放科学”运动有着明显的联系。另一个重要的问题是“我的代码比您的代码更快”的研究与帮助我们更好地理解算法属性的研究之间的区别。

您可能要查看的一些有关计算实验和测试的参考资料包括:

科芬,玛丽和马修·萨尔茨曼。2000年。“ 算法和启发式计算测试的统计分析。” INFORMS计算杂志12(1):24-44。

Crowder,Harlan,Ron S. Dembo和John M. Mulvey。1979 。“ 关于使用数学软件报告计算实验。” 关于数学软件(TOMS)的ACM交易5(2):193–203。

Feitelson,Dror G.,2006年。“ 实验计算机科学:文化变革的需要。”

约翰·胡克(Hooker),约翰·N(John N。),1995年。“ 测试启发式:我们错了。” 启发式杂志1(1):33-42。

McGeoch,Catherine C. 2012年。《实验算法学指南》。剑桥大学出版社。


我还将引用诸如Sumatra(pypi.org/project/Sumatra)之类的工具,这些工具旨在提供跟踪计算实验的工具以支持可重复的研究。另请参阅此处datascience.stackexchange.com/questions/758
GertVdE
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.