将大xlsx文件导入R中？

我想知道是否有人知道从“大” xlsx文件（〜20Mb）导入数据的方法。我尝试使用xlsx和XLConnect库。不幸的是，它们都使用rJava，并且我总是会遇到相同的错误：

> library(XLConnect)
> wb <- loadWorkbook("MyBigFile.xlsx")
Error: OutOfMemoryError (Java): Java heap space

要么

> library(xlsx)
> mydata <- read.xlsx2(file="MyBigFile.xlsx")
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  : 
   java.lang.OutOfMemoryError: Java heap space

我还尝试在加载rJava之前修改java.parameters：

> options( java.parameters = "-Xmx2500m")
> library(xlsx) # load rJava
> mydata <- read.xlsx2(file="MyBigFile.xlsx")
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  : 
   java.lang.OutOfMemoryError: Java heap space

或加载rJava之后（我认为这有点愚蠢）：

> library(xlsx) # load rJava
> options( java.parameters = "-Xmx2500m")
> mydata <- read.xlsx2(file="MyBigFile.xlsx")
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  : 
   java.lang.OutOfMemoryError: Java heap space

但是没有任何效果。有人有主意吗？

当有人给我（另一个）Excel文件进​​行分析时，我偶然发现了这个问题。这个甚至还没有那么大，但是由于某种原因，我遇到了类似的错误：

java.lang.OutOfMemoryError: GC overhead limit exceeded

基于@Dirk Eddelbuettel在先前答案中的评论，我安装了openxlsx软件包（http://cran.r-project.org/web/packages/openxlsx/）。然后运行：

library("openxlsx")
mydf <- read.xlsx("BigExcelFile.xlsx", sheet = 1, startRow = 2, colNames = TRUE)

这正是我想要的。易于使用和邪恶的快速。这是我的新朋友。感谢小费@Dirk E！

顺便说一句，我不想​​从Dirk E那里窃取这个答案，所以如果他发布答案，请接受它而不是我的！

options(java.parameters = "-Xmx2048m")  ## memory set to 2 GB
library(XLConnect)

在加载任何Java组件之前，请使用“选项”提供更多内存。然后加载XLConnect库（它使用Java）。

而已。开始使用readWorksheet ....等读取数据。:)

我同意@orville jackson的回复，它也确实对我有帮助。

内联@orville jackson提供的答案。这是如何使用openxlsx的详细说明读取和写入大文件。

当数据量较小时，R具有许多可根据您的要求使用的软件包和功能。

write.xlsx，write.xlsx2，XLconnect也可以完成工作，但是与openxlsx相比，这些有时速度较慢。

因此，如果您处理的是大型数据集，并且遇到了Java错误。我建议看看“ openxlsx”，它真的很棒，可以将时间减少1/12。

我已经进行了全部测试，最后，openxlsx功能的性能给我留下了深刻的印象。

以下是将多个数据集写入多个工作表的步骤。

install.packages("openxlsx")
library("openxlsx")

start.time <- Sys.time()

# Creating large data frame
x <- as.data.frame(matrix(1:4000000,200000,20))
y <- as.data.frame(matrix(1:4000000,200000,20))
z <- as.data.frame(matrix(1:4000000,200000,20))

# Creating a workbook
wb <- createWorkbook("Example.xlsx")
Sys.setenv("R_ZIPCMD" = "C:/Rtools/bin/zip.exe") ## path to zip.exe

Sys.setenv（“ R_ZIPCMD” =“ C：/Rtools/bin/zip.exe”）必须是静态的，因为它引用了Rtools的某些实用程序。

注意：如果您的系统上未安装Rtools，请先安装Rtools以获得流畅的体验。这是供您参考的链接：（选择适当的版本） https://cran.r-project.org/bin/windows/Rtools/

按照下面的链接检查选项（安装时需要选中所有复选框） https://cloud.githubusercontent.com/assets/7400673/12230758/99fb2202-b8a6-11e5-82e6-836159440831.png

# Adding a worksheets : parameters for addWorksheet are 1. Workbook Name 2. Sheet Name

addWorksheet(wb, "Sheet 1")
addWorksheet(wb, "Sheet 2")
addWorksheet(wb, "Sheet 3")

# Writing data in to respetive sheets: parameters for writeData are 1. Workbook Name 2. Sheet index/ sheet name 3. dataframe name

writeData(wb, 1, x)

# incase you would like to write sheet with filter available for ease of access you can pass the parameter withFilter = TRUE in writeData function.
writeData(wb, 2, x = y, withFilter = TRUE)

## Similarly writeDataTable is another way for representing your data with table formatting:

writeDataTable(wb, 3, z)

saveWorkbook(wb, file = "Example.xlsx", overwrite = TRUE)

end.time <- Sys.time()
time.taken <- end.time - start.time
time.taken

openxlsx软件包非常适合从excel文件中读取/写入大量数据，并且在excel中具有许多用于自定义格式的选项。

有趣的事实是，我们在这里不必为Java堆内存而烦恼。

我知道这个问题有点老了，但是现在有一个很好的解决方案。当您尝试使用GUI在Rstudio中导入excel时，这是默认程序包，在我的情况下效果很好。

library(readxl)

data <- read_excel(filename)

正如规范的Excel-> R问题中提到的那样，该readxl软件包中出现了一个最新的替代方法，与例如和相比，我发现它非常快。openxlsxxlsx

也就是说，电子表格有一个明确的限制，超过该限制后，最好将其另存为.csv并使用fread。

我在xlsx::read.xlsx和中也有相同的错误XLConnect::readWorksheetFromFile。也许您可以使用RODBC::odbcDriverConnect和RODBC::sqlFetch，后者使用Microsoft RODBC，效率更高。

@flodel关于转换为CSV的建议似乎最简单。如果出于某种原因这不是一个选择，则可以分块读取文件：

 require(XLConnect)
 chnksz <- 2e3
 s <- <sheet>
 wb <- loadWorkbook(<file>, s)
 tot.rows <- getLastRow(wb)
 last.row =0
 for (i in seq(ceiling( tot.rows / chnksz) )) {
    next.batch <- readWorksheet(wb, s, startRow=last.row+i, endRow=last.row+chnksz+i)
    # optionally save next.batch to disk or 
    # assign it to a list. See which works for you. 
 } 

我发现此线程正在寻找完全相同的问题的答案。而不是尝试从R中入侵xlsx文件，最终对我有用的是使用python将文件转换为.csv，然后使用标准扫描功能将文件导入R。

签出：https : //github.com/dilshod/xlsx2csv