Questions tagged «shared-memory»

假设我有一个很大的内存numpy数组，我有一个函数func将这个巨型数组作为输入（以及其他一些参数）。func具有不同参数的参数可以并行运行。例如： def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results = [pool.apply_async(func, [arr, param]) for param in all_params] output = [res.get() for res in results] 如果我使用多处理库，那么该巨型数组将多次复制到不同的进程中。 有没有办法让不同的进程共享同一数组？该数组对象是只读的，永远不会被修改。 更复杂的是，如果arr不是数组，而是任意python对象，是否可以共享它？ [编辑] 我读了答案，但仍然有些困惑。由于fork（）是写时复制的，因此在python多处理库中生成新进程时，我们不应调用任何额外的开销。但是下面的代码表明存在巨大的开销： from multiprocessing import Pool, Manager import numpy as np; import …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

我的一个项目有一个问题。 我一直在尝试找到一个有据可查的使用共享内存的例子，fork()但是没有成功。 基本上情况是，当用户启动程序时，我需要在共享内存中存储两个值：current_path（它是一个char *）和file_name（它也是char *）。 根据命令参数，将启动一个新进程fork()，该进程需要读取和修改共享内存中存储的current_path变量，而file_name变量为只读。 是否有关于共享内存的很好的教程，并带有示例代码（如果可能），您可以将其引导至？

117 c  linux  fork  shared-memory 

我经常需要将函数应用于非常大的组DataFrame（混合数据类型），并想利用多个内核。 我可以从组中创建一个迭代器并使用多处理模块，但是这样做效率不高，因为每个组和函数的结果都必须经过腌制才能在进程之间进行消息传递。 有什么方法可以避免酸洗，甚至避免DataFrame完全复制？看起来多处理模块的共享内存功能仅限于numpy数组。还有其他选择吗？

89 python  pandas  multiprocessing  shared-memory 

我有一个60GB的SciPy阵列（矩阵），必须在5个以上的multiprocessing Process对象之间共享。我看过numpy-sharedmem并在SciPy列表上阅读了此讨论。似乎有两种方法numpy-sharedmem-使用amultiprocessing.RawArray()和将NumPy dtypes映射到ctypes。现在，这numpy-sharedmem似乎是要走的路，但是我还没有看到一个很好的参考示例。我不需要任何类型的锁，因为数组（实际上是矩阵）将是只读的。现在，由于它的大小，我想避免复制。这听起来像是正确的方法是创建唯一的数组作为副本sharedmem数组，然后将它传递给Process对象？几个特定的​​问题： 实际将sharedmem句柄传递给子对象的最佳方法是Process()什么？我是否需要一个队列来传递一个数组？管道会更好吗？我可以仅将它作为参数传递给Process()子类的init（我假设它是被腌制的）吗？ 在上面链接的讨论中，提到numpy-sharedmem不是64位安全的吗？我肯定使用了一些不是32位可寻址的结构。 该RawArray()方法是否需要权衡？慢一点，孩子吗？ numpy-sharedmem方法是否需要任何ctype到dtype的映射？ 有没有人举一些开源代码的例子呢？我是一个非常动手的知识，如果没有任何好的榜样，很难使它成功。 如果有任何其他我可以提供的信息，以帮助其他人进行澄清，请发表评论，然后添加。谢谢！ 这需要在Ubuntu Linux和Maybe Mac OS上运行，但是可移植性并不是一个大问题。

88 python  numpy  multiprocessing  shared-memory 

我有三个大名单。前一个包含位数组（模块位数组0.8.0），另外两个包含整数数组。 l1=[bitarray 1, bitarray 2, ... ,bitarray n] l2=[array 1, array 2, ... , array n] l3=[array 1, array 2, ... , array n] 这些数据结构占用相当多的RAM（总计约16GB）。 如果我使用以下方法启动12个子流程： multiprocessing.Process(target=someFunction, args=(l1,l2,l3)) 这是否意味着将为每个子流程复制l1，l2和l3，或者子流程将共享这些列表？或者更直接地说，我将使用16GB还是192GB的RAM？ someFunction将从这些列表中读取一些值，然后根据读取的值执行一些计算。结果将返回到父进程。列表l1，l2和l3不会被someFunction修改。 因此，我假设子流程不需要并且不会复制这些庞大的列表，而只会与父级共享它们。意味着由于linux下的写时复制方法，该程序将占用16GB的RAM（无论我启动了多少个子进程）？我是对的还是我遗漏了一些会导致列表被复制的东西？ 编辑：在阅读了有关该主题的更多内容后，我仍然感到困惑。一方面，Linux使用写时复制，这意味着没有数据被复制。另一方面，访问对象将更改其引用计数（我仍然不确定为什么以及这意味着什么）。即使这样，会复制整个对象吗？ 例如，如果我定义someFunction如下： def someFunction(list1, list2, list3): i=random.randint(0,99999) print list1[i], list2[i], list3[i] 使用此功能是否意味着将为每个子流程完全复制l1，l2和l3？ 有办法检查吗？ EDIT2在多了一点并监视子进程运行时系统的总内存使用情况之后，似乎确实为每个子进程复制了整个对象。这似乎是因为引用计数。 在我的程序中，实际上不需要l1，l2和l3的引用计数。这是因为l1，l2和l3将保留在内存中（不变），直到父进程退出。在此之前，无需释放这些列表使用的内存。实际上，我可以肯定的是，在程序退出之前，引用计数将保持高于0（对于这些列表和这些列表中的每个对象）。 所以现在的问题变成了，我如何确保对象不会复制到每个子流程？我是否可以禁用这些列表以及这些列表中每个对象的引用计数？ EDIT3只是一个附加说明。子进程并不需要修改l1，l2并l3或在这些列表中的任何对象。子流程仅需要能够引用其中一些对象，而无需为每个子流程复制内存。

74 python  multiprocessing  shared-memory  large-data