4
具有多处理功能的Celery并行分布式任务
我有一个CPU密集的Celery任务。我想使用许多EC2实例上的所有处理能力(核心)来更快地完成此工作(我认为是具有多处理功能的芹菜并行分布式任务)。 我想更好地理解所有术语,线程,多处理,分布式计算,分布式并行处理。 示例任务: @app.task for item in list_of_millions_of_ids: id = item # do some long complicated equation here very CPU heavy!!!!!!! database.objects(newid=id).save() 使用上面的代码(如果可能,还提供一个示例),如何通过Celery使用一项计算任务来拆分这项任务?