测试具有随机行为的程序的最佳实践是什么？

在进行研发工作时，我经常发现自己编写的程序在行为上有很大的随机性。例如，当我从事基因编程工作时，我经常编写生成并执行任意随机源代码的程序。

测试此类代码的问题在于，错误通常是间歇性的，并且很难重现。这不仅仅是将随机种子设置为相同的值并重新开始执行。

例如，代码可能从内核环形缓冲区读取一条消息，然后对消息内容进行条件跳转。自然，当以后尝试重现该问题时，环形缓冲区的状态将已更改。

即使此行为是一种功能，它也可能以意想不到的方式触发其他代码，从而经常揭示出单元测试（或人工测试人员）找不到的错误。

是否有建立此类测试系统的最佳实践？如果是这样，一些参考资料将非常有帮助。如果没有，欢迎任何其他建议！

如建议的那样添加钩子以重新创建精确的状态非常有用。还要对系统进行检测，以便它可以转储其“种子”（在您的情况下，包括PRNG种子以及内核环形缓冲区以及任何其他不确定性输入源）。

然后使用真正的随机输入运行测试，并使用以前发现的有趣案例进行回归式测试。

在您访问内核的特定情况下，无论如何我建议您进行模拟。使用模拟来强制在实践中不太可能出现的对等类，本着容器的“空”和“满”的精神，或为容器“ 0、1、2 ^ n，2 ^ n + 1，许多”可数的东西。然后，您就可以使用模拟和真实的东西进行测试，知道您已经处理并测试了到目前为止已经想到的案例。

基本上，我建议的内容是确定性和非确定性输入的混合，确定性输入是您可以想到的和您感到惊讶的输入的混合。

要做的一件合理的事情是为测试生成一个具有恒定值的随机数生成器，以使您获得确定的行为。

我认为统计测试是唯一的方法。就像通过统计测试“测试”随机数的随机性一样，因此也需要使用随机行为的算法。

只需使用相同或不同的输入多次运行算法，然后将其相互比较即可。这种方法的问题是完成测试所需的计算时间大量增加。

我不是该领域的专家，但是相对于随机程序测试，这是一门科学的论文。

如#Euphoric所述，如果您无法轻松创建测试类，则可以使用统计测试。Borning等。比较传统方法和统计方法。@Euphoric建议的统计测试的一般化可能是Whittaker讨论的一种。他建议创建所需行为（在您的情况下是随机的）的随机模型，然后从该模型生成特定的测试用例（请参阅他的专用论文）。