Questions tagged «parallel»

我有一个建模和评分程序，该程序大量使用了DataFrame.isin熊猫的功能，在数千个特定页面的每个页面中搜索单个用户的Facebook“喜欢”记录列表。这是程序中最耗时的部分，而不是建模或评分部分，这仅仅是因为它仅在一个内核上运行，而其余部分同时在几十个内核上运行。 尽管我知道我可以手动将数据帧分解为多个块并并行运行该操作，但是有没有直接的自动方法？换句话说，是否有任何一种程序包可以识别我正在执行的一项容易委派的操作并自动分发它？也许这要求太多，但是过去我对Python中已有的功能感到惊讶，因此我认为值得提出。 任何其他有关如何完成此操作的建议（即使不是通过某些神奇的独角兽程序包也是如此！）也将不胜感激。主要是，只是试图找到一种方法，以在每次运行中节省15至20分钟的时间，而无需花费等量的时间来编码解决方案。

25 performance  python  pandas  parallel 

并行计算和分布式计算之间的区别是什么？当涉及到可伸缩性和效率时，通常会看到在机器集群中处理计算的解决方案，有时将其称为并行处理或分布式处理。 从某种意义上讲，计算似乎总是并行的，因为有些事情是同时运行的。但是，分布式计算是否仅与使用一台以上的机器有关，还是存在区分这两种处理的其他特征？举例来说，计算是并行和分布式的，这是否多余？

15 definitions  parallel  distributed 

在通常被称为“中等数据”项目的工作中，我已经能够在4到32个内核之间的任何一个系统上并行化我的代码（主要用于Python中的建模和预测）。现在，我正在考虑扩展到EC2上的群集（可能使用StarCluster / IPython，但也可以接受其他建议），并且对如何协调实例与群集上实例之间的内核之间的分配工作感到困惑。 跨实例以及跨每个实例的内核并行化甚至可行吗？如果是这样，那么谁能快速总结一下运行许多每个核心很少的实例与少数几个核心很多的实例的优缺点？是否有经验法则来选择每个实例的实例与核心的正确比例？ 带宽和RAM在我的项目中不是无关紧要的问题，但是很容易发现何时出现瓶颈和重新调整。我想，要在没有重复测试的情况下将正确的内核混合基准用于实例要困难得多，而且我的项目相差太大，以至于任何一次测试都无法应用于所有情况。在此先感谢您，如果我只是未能正确搜索到此内容，请随时为我指出其他地方的正确答案！

12 parallel  clusters  aws 

我目前正在撰写有关大数据的论文，该论文使我们大量利用R进行数据分析。出于游戏原因，我的电脑中恰巧装有GTX1070。因此，我认为如果可以使用它来加快我的老师正在做的某些事情的处理速度，那真的很酷，但是这样做似乎并不容易。我已经安装了gpuR，CUDA，Rtools和其他一些东西，例如，我可以从基因组表达数据中创建gpuMatrix对象，但是我还没有找到可以同时使用gpuMatrix对象的函数并且还提供了任何明显的性能差异。也许这只是与gpuR程序包固有的局限性有关-其他一些程序包似乎确实在谈论具有听起来像他们在寻找我想要的东西的功能， 几乎所有这些软件包都是专用于Linux的，在Windows中实现对R的GPU支持是否特别困难？还是有其他原因导致Windows中可用的软件包太少？从某种意义上说，我只是很好奇，但是真正发挥作用也很酷。令我惊讶的是，Windows几乎没有可用的功能，通常情况恰恰相反。

11 r  gpu  parallel 

我正在使用Keras的 LSTM（使用Theano背景）来开发Seq2Seq模型，并且我想并行化这些过程，因为即使很少的MB数据也需要数小时的训练。 显然，GPU在并行化方面要比CPU好得多。目前，我只能使用CPU。我可以访问16个CPU（每个内核2个线程X每个插槽4个内核X 2个插槽） 从Theano 的多核支持文档中，我设法使用了单个套接字的所有四个核。因此，基本上，CPU使用率为400％，使用了4个CPU，其余12个CPU仍未使用。我也如何利用它们。如果可行，也可以使用Tensorflow代替Theano背景。

11 tensorflow  keras  theano  parallel