并行伪随机数生成器

这个问题主要与一个实际的软件工程问题有关，但是我很想知道理论家是否可以对此提供更多的见解。

简而言之，我有一个使用伪随机数生成器的蒙特卡洛模拟，我想对其进行并行化，以便有1000台计算机并行运行同一模拟。因此，我需要1000个独立的伪随机数流。

我们可以拥有具有以下属性的1000个并行流吗？在此，$X$应该是一个非常著名且经过广泛研究的PRNG，具有各种良好的理论和经验特性。

1. 事实证明，这些流与我仅使用$X$并将生成的流拆分$X$为1000个流的情况一样好。

2. 在任何流中生成下一个数字（几乎）与使用生成下一个数字一样快$X$。

换句话说：我们可以“免费”获得多个独立的流吗？

当然，如果我们仅使用$X$，总是丢弃999个数字并选择1，那么我们当然将拥有属性1，但是运行时间将损失1000倍。

一个简单的想法是使用 1000个副本$X$，并带有种子1、2，...，1000。这当然会很快，但是如果流具有良好的统计特性，则并不明显。

经过一番谷歌搜索后，我发现了以下内容：

• 该SPRNG库似乎是专出于这样的目的，它支持多种的PRNG。

• 如今，梅森捻线机似乎是一种流行的PRNG，我发现了一些引用，该引用可以并行产生多个流。

但是所有这一切都离我自己的研究领域很远，以至于我无法弄清楚什么是最先进的技术，以及哪种结构不仅在理论上而且在实践上都行之有效。

一些澄清：我不需要任何类型的密码属性；这是用于科学计算。我将需要数十亿个随机数，因此我们可以忘记周期任何生成器$< 2^{32}$。

编辑：我不能使用真正的RNG；我需要确定性PRNG。首先，它在调试方面有很大帮助，并使所有内容都可重复。其次，它使我能够利用我可以使用多次通过模型的事实非常有效地进行中值查找（请参阅此问题）。

编辑2：有一个密切相关的问题@ StackOverflow：用于集群环境的伪随机数生成器。

您可以使用由Saito和Matsumoto开发的Mersenne Twister算法的改进：

面向SIMD的快速梅森捻线器（SFMT）

SFMT是一种线性反馈移位寄存器（LFSR）生成器，可一步生成128位伪随机整数。SFMT是针对现代CPU的最新并行性而设计的，例如多级流水线和SIMD（例如128位整数）指令。它支持32位和64位整数，以及双精度浮点作为输出。在大多数平台上，SFMT比MT快得多。不仅速度提高了，而且以v位精度改进了均分布的尺寸。此外，从0过量的初始状态恢复要快得多。有关详细信息，请参见斋藤睦男的硕士论文。

的期间从改变至2 216091 - 1。$2^{607}-1$$2^{216091}-1$

使用一个相同的伪随机数生成器通过更改初始值来生成多个独立的流可能会引起问题（可能性很小）。为避免此问题，最好为每一代使用不同的参数。该技术称为MT参数的动态创建。

在SFMT源代码中，您可以找到一些参数集（可变周期）的示例，以及将CSV文件转换为可编译参数集的awk脚本。还有一个工具叫做“ 梅森捻线发生器的动态创建 ”。

作者最近开发了Mersenne Twister的另一个修改版本- 图形处理器的Mersenne Twister，旨在在GPU中运行并利用其本机并行执行线程。关键功能是速度：$5 \times 10^7$ GeForce GTX 260上每4.6ms随机整数。

产生的序列的周期是，2 23209 - 1和2 44497 - 1为32位版本，和2 23209 - 1，2 44497 - 1，2 110503 - 1为64位版本。它为每个周期支持128个参数集，换句话说，它可以为每个周期生成128个独立的伪随机数序列。我们已经为MTGP开发了Dynamic Creator，它可以生成更多参数集$2^{11213}-1$$2^{23209}-1$$2^{44497}-1$$2^{23209}-1$$2^{44497}-1$$2^{110503}-1$

实际上，他们提供了MTGPDC工具来创建多达$2^{32}$参数集（即独立的流）。

该算法通过了Diehard和NIST等主要随机性测试。

关于arXiv的初步文章也可查阅：适用于图形处理器的Mersenne Twister的变体

解决这个问题的方法似乎很多，但一种简单的方法是使用Blum Blum Shub PRNG。此PRNG由复发时关系式定义，其中Ñ是一个半素。为了从中得到一个随机位，您可以简单地取x i的位奇偶校验。什么是这个很好的是，由于X 我+ ķ = X 2 ķ我  国防部  Ñ = X 2 ķ  MOD  λ （Ñ ）$x_{i+1} = x_i^2 \mbox{ mod }N$$N$$x_i$您可以直接计算任何以 k为单位的时间常数（即 O （log （N ）3）或更快），具体取决于您使用的模块化指数乘法算法。因此是你中号机，然后用于通过索引的机器 ÿ可以使用发电机 X 我+ 1 ，ÿ = X 2 中号MOD  λ （Ñ ）我  国防部  Ñ，其中 X 0 ，ÿ = $x_{i+k} = x_i^{2^k}\mbox{ mod }N = x_i^{2^k \mbox{ mod } \lambda(N)}\mbox{mod }N$$k$$O(\log(N)^3)$$M$$y$$x_{i+1,y} = x_i^{2^M \mbox{mod }\lambda(N)}\mbox{ mod }N$，其中X0是您的种子。方便地，这将生成与使用单个流完全相同的数字流，并将其输出依次分配到每台计算机。$x_{0,y} = x_0^{2^y \mbox{ mod }\lambda(N)}\mbox{ mod }N$$x_0$

但是，这并不是PRNG最快的，因此，仅当您在模拟中所做的任何事情的开销明显大于PRNG的成本时，它才有用。然而，值得指出的是，它会为的某些组合快得多和Ñ比其他，尤其是当的二进制表示2 中号 MOD  λ （Ñ ）含少量的1或较小。$M$$N$$2^M \mbox{ mod }\lambda(N)$

预处理阶段如何？给定一个随机种子（大小为n），运行X以获得大小为1000 n的伪随机流。表示由该流小号1，s ^ 2，... ，s ^ 1000，其中对于1 ≤ 我≤ 1000，š 我是大小的流的连续部分Ñ。$s$$n$$X$$1000n$$s_1,s_2,\ldots,s_{1000}$$1\le i \le 1000$$s_i$$n$

鉴于是有效的PRNG（今天，我们拥有非常快的PRNG）这一事实，可以以非常低的开销完成此预处理阶段。$X$

$s_i$$i$$X$

$X$$s$$1 \le i < j \le 1000$$s_i$$s_j$$s$

您可以使用伪随机函数 $f$例如使用单个随机密钥的AES或ChaCha对计数器进行加密。分配每个$M = 1000$ 并行处理一个唯一的起始值 $\{ 0, 1, \ldots, M - 1 \}$, and then compute the $j$th random block of bits for process $i$ as $f(i + jM)$, i.e. increment the counter in each process by $M$ for every subsequent block of random bits.

This will give you a cryptographic RNG on every process, but it does not necessarily come with a performance cost. AES is fast if you have hardware that supports it, and ChaCha is fast regardless. Of course, you'll want to measure this in your specific setting to be sure.

Both desired properties 1 and 2 are directly satisfied by this. It's moreover convenient that the behavior of the entire system of parallel tasks is controlled by a single "seed" (the key for $f$).

There is now a jump function for SFMT (a fast Mersenne Twister implementation).

This allows me to initialise 1000 MTs so that there is no cycle overlap. And SFMT should be faster than MTGP. Almost perfect for my purposes.

You can just use 1000 instances of the Mersenne Twister initialized with different seeds.

You can sample the seeds from another Mersenne Twister, or, to be surer of their independence, from the OS cryptographic pseudorandom number generator (/dev/urandom in Linux).

The Mersenne Twister always operates on the same cyclic sequence, the seed controls where you start generating it. With indepenently sampled seeds, each generator will start at different, typically very far points, with a very small probability of intersection.