如何优化我的R脚本以使用“多核”

我在具有4个CPU的Ubuntu-Lucid PC上使用GNUR。为了使用所有4个CPU，我安装了“ r-cran-multicore”软件包。由于该软件包的手册缺乏我能理解的实际示例，因此我需要有关如何优化脚本以使用所有4个CPU的建议。

我的数据集是一个data.frame（称为P1），具有50,000行和1600 cols。对于每一行，我想计算最大值，总和和均值。我的脚本如下所示：

p1max <- 0
p1mean <- 0
p1sum <-0
plength <- length(P1[,1])
for(i in 1:plength){
   p1max <- c(p1max, max(P1[i,]))
   p1mean <- c(p1mean, mean(P1[i,]))
   p1sum <- c(p1sum, sum(P1[i,]))
}

谁能告诉我如何修改和运行脚本以使用所有4个CPU？

使用foreach和doMC。详细说明可以在这里找到。您的脚本变化很小，该行

for(i in 1:plength){

应该更改为

foreach(i=1:plength) %dopar% { 

使用这些软件包的任何多任务脚本的先决条件是

library(foreach)
library(doMC)
registerDoMC()

注意事项。根据文档，您不能在GUI中使用它。

至于您的问题，您真的需要多任务处理吗？您的data.frame大约需要1.2GB的RAM，因此它应该适合您的内存。因此，您可以简单地使用apply：

p1smry <- apply(P1,1,summary)

结果将是每行摘要的矩阵。

您还可以使用软件包multicore中的mclapply函数。然后您的脚本可能如下所示：

loopfun <- function(i) {
     summary(P1[i,])
}

res <- mclapply(1:nrow(P1),loopfun)

这将返回列表，其中第i个元素将是第i个行的摘要。您可以使用sapply将其转换为矩阵

mres <- sapply(res,function(x)x)

您已经获得了有关如何使用多个内核的答案，但真正的问题是编写循环的方式。切勿在循环的每次迭代中扩展结果向量/对象。如果这样做，则强制R复制结果向量/对象并对其进行扩展，这都需要时间。相反，请在开始循环之前预先分配足够的存储空间，然后继续进行操作。这是一个例子：

set.seed(1)
p1 <- matrix(rnorm(10000), ncol=100)
system.time({
p1max <- p1mean <- p1sum <- numeric(length = 100)
for(i in seq_along(p1max)){
   p1max[i] <- max(p1[i,])
   p1mean[i] <- mean(p1[i,])
   p1sum[i ]<- sum(p1[i,])
}
})

   user  system elapsed 
  0.005   0.000   0.005

或者，您可以通过apply()以下方式执行这些操作：

system.time({
p1max2 <- apply(p1, 1, max)
p1mean2 <- apply(p1, 1, mean)
p1sum2 <- apply(p1, 1, sum)
})
   user  system elapsed 
  0.007   0.000   0.006 

但是请注意，这并不比正确执行循环更快，有时甚至更慢。

但是，请始终注意矢量化代码。您可以使用rowSums()和进行行求和和均值，rowMeans()这比循环或apply版本要快：

system.time({
p1max3 <- apply(p1, 1, max)
p1mean3 <- rowMeans(p1)
p1sum3 <- rowSums(p1)
})

   user  system elapsed 
  0.001   0.000   0.002 

如果我是一名博彩公司，我会在我提到的第三种方法上花钱，foreach()或者在您的矩阵上进行速度测试时使用其他多核选项，因为它们必须大大加快处理速度，以证明建立该协议所需的开销是合理的从不同的CPU核心中分离出来的独立进程。

更新：遵循@shabbychef的评论，一次求和并重新用于计算均值会更快吗？

system.time({
    p1max4 <- apply(p1, 1, max)
    p1sum4 <- rowSums(p1)
    p1mean4 <- p1sum4 / ncol(p1)
    })

   user  system elapsed 
  0.002   0.000   0.002

不在本次测试中，但这远非详尽无遗...

看看降雪和降雪包。那些例子很多...

如果您想加快特定代码的速度，而不是学习R和并行性，则应该这样做

P1 = matrix(rnorm(1000), ncol=10, nrow=10
apply(P1, 1, max)
apply(P1, 1, mean)
apply(P1, 1, sum)