Python多处理安全地写入文件

Question 1

我正在尝试解决一个涉及许多子问题的大数值问题，并且我正在使用Python的多处理模块（特别是Pool.map）将不同的独立子问题分解为不同的核心。每个子问题都涉及计算大量子问题，并且我试图通过将结果存储到文件中（如果尚未通过任何过程对其进行计算）来有效地记住这些结果，否则请跳过计算并仅从文件中读取结果。

我的文件存在并发问题：有时，不同的过程会检查以查看是否已经计算了子子问题（通过查找将结果存储在文件中），没有找到子子问题，运行计算，然后尝试同时将结果写入同一文件。如何避免这样写冲突？

Question 2

@ GP89提到了一个很好的解决方案。使用队列将写入任务发送到对文件具有唯一写访问权的专用进程。其他所有工人均具有只读访问权限。这将消除冲突。这是一个使用apply_async的示例，但它也适用于map：

import multiprocessing as mp
import time

fn = 'c:/temp/temp.txt'

def worker(arg, q):
    '''stupidly simulates long running process'''
    start = time.clock()
    s = 'this is a test'
    txt = s
    for i in range(200000):
        txt += s 
    done = time.clock() - start
    with open(fn, 'rb') as f:
        size = len(f.read())
    res = 'Process' + str(arg), str(size), done
    q.put(res)
    return res

def listener(q):
    '''listens for messages on the q, writes to file. '''

    with open(fn, 'w') as f:
        while 1:
            m = q.get()
            if m == 'kill':
                f.write('killed')
                break
            f.write(str(m) + '\n')
            f.flush()

def main():
    #must use Manager queue here, or will not work
    manager = mp.Manager()
    q = manager.Queue()    
    pool = mp.Pool(mp.cpu_count() + 2)

    #put listener to work first
    watcher = pool.apply_async(listener, (q,))

    #fire off workers
    jobs = []
    for i in range(80):
        job = pool.apply_async(worker, (i, q))
        jobs.append(job)

    # collect results from the workers through the pool result queue
    for job in jobs: 
        job.get()

    #now we are done, kill the listener
    q.put('kill')
    pool.close()
    pool.join()

if __name__ == "__main__":
   main()

Question 3

在我看来，您需要用来Manager将结果临时保存到列表中，然后将列表中的结果写到文件中。另外，用于starmap传递要处理的对象和托管列表。第一步是构建要传递给的参数starmap，其中包括托管列表。

from multiprocessing import Manager
from multiprocessing import Pool  
import pandas as pd

def worker(row, param):
    # do something here and then append it to row
    x = param**2
    row.append(x)

if __name__ == '__main__':
    pool_parameter = [] # list of objects to process
    with Manager() as mgr:
        row = mgr.list([])

        # build list of parameters to send to starmap
        for param in pool_parameter:
            params.append([row,param])

        with Pool() as p:
            p.starmap(worker, params)

从这一点上，您需要确定如何处理列表。如果您有大量的RAM和庞大的数据集，请使用熊猫进行串联。然后，您可以非常轻松地将文件另存为csv或pickle。

        df = pd.concat(row, ignore_index=True)

        df.to_pickle('data.pickle')
        df.to_csv('data.csv')