如何将Excel文件直接读入R?还是应该首先将数据导出到文本或CSV文件,然后将该文件导入R?
gdata
版本2.8.2读取xlsx
具有以下read.xls
功能的文件
xlsx
打包XLSX / XLSM / XLS,不知道xlam等
如何将Excel文件直接读入R?还是应该首先将数据导出到文本或CSV文件,然后将该文件导入R?
gdata
版本2.8.2读取xlsx
具有以下read.xls
功能的文件
xlsx
打包XLSX / XLSM / XLS,不知道xlam等
Answers:
是。请参阅R Wiki上的相关页面。简短的答案:大多数情况下read.xls
,该gdata
软件包都有效(尽管您需要在系统上安装Perl-通常已在MacOS和Linux上安装了Perl,但在Windows上则需要采取额外的措施,例如,请参见http://strawberryperl.com/)。R Wiki页面上列出了各种警告和替代方法。
我不直接执行此操作的唯一原因是,您可能需要检查电子表格以查看其是否存在故障(怪异的标题,多个工作表[您一次只能读取一个,尽管您显然可以遍历全部) ,包括地块等)。但是对于格式完整的矩形电子表格,其中包含纯数字和字符数据(即,非逗号格式的数字,日期,具有零除错误的公式,缺少值等)..我通常没有问题这个过程。
na.strings="-"
解决这个问题?这些问题中有多少是通用的,可以使用其他工具(例如XLConnect ...)解决其中的哪些问题(例如带逗号的数字字段)?
现在有readxl:
readxl软件包使从Excel到R的数据获取变得容易。与现有软件包(例如gdata,xlsx,xlsReadWrite等)相比,readxl没有外部依赖关系,因此易于在所有操作系统上安装和使用。它设计用于处理存储在一张纸中的表格数据。
readxl构建在libxls C库的顶部,该库抽象出了基础二进制格式的许多复杂性。
它同时支持旧版.xls格式和.xlsx
readxl可从CRAN获得,或者您可以使用以下命令从github安装:
# install.packages("devtools")
devtools::install_github("hadley/readxl")
用法
library(readxl)
# read_excel reads both xls and xlsx files
read_excel("my-old-spreadsheet.xls")
read_excel("my-new-spreadsheet.xlsx")
# Specify sheet with a number or name
read_excel("my-spreadsheet.xls", sheet = "data")
read_excel("my-spreadsheet.xls", sheet = 2)
# If NAs are represented by something other than blank cells,
# set the na argument
read_excel("my-spreadsheet.xls", na = "NA")
请注意,尽管描述中说“没有外部依赖项”,但确实需要该Rcpp
软件包,而这反过来又需要Rtools(对于Windows)或Xcode(对于OSX),它们是 R的外部依赖项。 。
read_excel
?与相比read.xlsx
,我比较喜欢速度,但是必须手动将列从字符转换为因子会达到目的。
EDIT 2015年10月:正如其他人在这里评论的,openxlsx
和readxl
软件包比xlsx
软件包要快得多,实际上可以打开更大的Excel文件(> 1500行和> 120列)。@MichaelChirico演示了readxl
首选速度时更好的方法,并openxlsx
替换了xlsx
软件包提供的功能。如果您正在寻找2015年用于读取,写入和修改Excel文件的软件包,请选择openxlsx
而不是xlsx
。
2015年之前:我已使用xlsx
package。它使用Excel和R改变了我的工作流程。不再烦人的弹出式窗口询问我是否确定要以.txt格式保存Excel工作表。该软件包还写入Excel文件。
但是,read.xlsx
打开大型Excel文件时,我发现功能很慢。read.xlsx2
函数的速度要快得多,但不会查询data.frame列的向量类。colClasses
如果使用read.xlsx2
函数,则必须使用命令指定所需的列类。这是一个实际的例子:
read.xlsx("filename.xlsx", 1)
读取文件并使data.frame列类几乎有用,但是对于大型数据集来说非常慢。也适用于.xls
文件。
read.xlsx2("filename.xlsx", 1)
速度更快,但是您必须手动定义列类。一种快捷方式是两次运行该命令(请参见下面的示例)。character
规范会将您的列转换为因子。时间的使用Date
和POSIXct
选项。
coln <- function(x){y <- rbind(seq(1,ncol(x))); colnames(y) <- colnames(x)
rownames(y) <- "col.number"; return(y)} # A function to see column numbers
data <- read.xlsx2("filename.xlsx", 1) # Open the file
coln(data) # Check the column numbers you want to have as factors
x <- 3 # Say you want columns 1-3 as factors, the rest numeric
data <- read.xlsx2("filename.xlsx", 1, colClasses= c(rep("character", x),
rep("numeric", ncol(data)-x+1)))
鉴于读取Excel文件的不同方式的泛滥以及R
此处的答案过多,我想我将尝试阐明此处提到的哪些选项在某些情况下效果最佳。
xlsx
自从我开始使用以来,我自己一直在使用R
惯性(如果没有其他问题的话),而且我最近注意到似乎没有客观的信息来说明哪个程序包效果更好。
任何基准测试活动都充满困难,因为某些程序包肯定会在某些情况下比其他程序更好地处理,还有其他警告。
就是说,我使用的是(可复制的)数据集,我认为它是一种非常常见的格式(8个字符串字段,3个数字,1个整数,3个日期):
set.seed(51423)
data.frame(
str1 = sample(sprintf("%010d", 1:NN)), #ID field 1
str2 = sample(sprintf("%09d", 1:NN)), #ID field 2
#varying length string field--think names/addresses, etc.
str3 =
replicate(NN, paste0(sample(LETTERS, sample(10:30, 1L), TRUE),
collapse = "")),
#factor-like string field with 50 "levels"
str4 = sprintf("%05d", sample(sample(1e5, 50L), NN, TRUE)),
#factor-like string field with 17 levels, varying length
str5 =
sample(replicate(17L, paste0(sample(LETTERS, sample(15:25, 1L), TRUE),
collapse = "")), NN, TRUE),
#lognormally distributed numeric
num1 = round(exp(rnorm(NN, mean = 6.5, sd = 1.5)), 2L),
#3 binary strings
str6 = sample(c("Y","N"), NN, TRUE),
str7 = sample(c("M","F"), NN, TRUE),
str8 = sample(c("B","W"), NN, TRUE),
#right-skewed integer
int1 = ceiling(rexp(NN)),
#dates by month
dat1 =
sample(seq(from = as.Date("2005-12-31"),
to = as.Date("2015-12-31"), by = "month"),
NN, TRUE),
dat2 =
sample(seq(from = as.Date("2005-12-31"),
to = as.Date("2015-12-31"), by = "month"),
NN, TRUE),
num2 = round(exp(rnorm(NN, mean = 6, sd = 1.5)), 2L),
#date by day
dat3 =
sample(seq(from = as.Date("2015-06-01"),
to = as.Date("2015-07-15"), by = "day"),
NN, TRUE),
#lognormal numeric that can be positive or negative
num3 =
(-1) ^ sample(2, NN, TRUE) * round(exp(rnorm(NN, mean = 6, sd = 1.5)), 2L)
)
然后我写了这为CSV和LibreOffice中打开并保存它作为一个.xlsx文件,然后基准在这个线程中提到的包的4: ,xlsx
,openxlsx
,readxl
和gdata
,使用默认选项(我也试过一个版本是否不是我指定列类型,但这不会改变排名)。
我被排除在外RODBC
是因为我在Linux上。XLConnect
因为它的主要目的不是在单个Excel工作表中阅读而是在导入整个Excel工作簿,所以仅凭其阅读能力来竞争就显得不公平;并且xlsReadWrite
因为它不再与我的版本兼容R
(似乎已被淘汰)。
然后,我使用NN=1000L
和运行基准测试NN=25000L
(在data.frame
上述每次声明之前重置种子),以允许在Excel文件大小方面有所差异。gc
主要用于xlsx
,我有时发现它会创建内存阻塞。事不宜迟,这是我发现的结果:
benchmark1k <-
microbenchmark(times = 100L,
xlsx = {xlsx::read.xlsx2(fl, sheetIndex=1); invisible(gc())},
openxlsx = {openxlsx::read.xlsx(fl); invisible(gc())},
readxl = {readxl::read_excel(fl); invisible(gc())},
gdata = {gdata::read.xls(fl); invisible(gc())})
# Unit: milliseconds
# expr min lq mean median uq max neval
# xlsx 194.1958 199.2662 214.1512 201.9063 212.7563 354.0327 100
# openxlsx 142.2074 142.9028 151.9127 143.7239 148.0940 255.0124 100
# readxl 122.0238 122.8448 132.4021 123.6964 130.2881 214.5138 100
# gdata 2004.4745 2042.0732 2087.8724 2062.5259 2116.7795 2425.6345 100
竞争激烈且明显失败readxl
的赢家也是如此。采取相对于列最小值的每个度量:openxlsx
gdata
# expr min lq mean median uq max
# 1 xlsx 1.59 1.62 1.62 1.63 1.63 1.65
# 2 openxlsx 1.17 1.16 1.15 1.16 1.14 1.19
# 3 readxl 1.00 1.00 1.00 1.00 1.00 1.00
# 4 gdata 16.43 16.62 15.77 16.67 16.25 11.31
我们看到我自己的最爱,xlsx
比慢60%readxl
。
由于花费的时间,我只对较大的文件重复了20次,否则命令是相同的。这是原始数据:
# Unit: milliseconds
# expr min lq mean median uq max neval
# xlsx 4451.9553 4539.4599 4738.6366 4762.1768 4941.2331 5091.0057 20
# openxlsx 962.1579 981.0613 988.5006 986.1091 992.6017 1040.4158 20
# readxl 341.0006 344.8904 347.0779 346.4518 348.9273 360.1808 20
# gdata 43860.4013 44375.6340 44848.7797 44991.2208 45251.4441 45652.0826 20
以下是相关数据:
# expr min lq mean median uq max
# 1 xlsx 13.06 13.16 13.65 13.75 14.16 14.13
# 2 openxlsx 2.82 2.84 2.85 2.85 2.84 2.89
# 3 readxl 1.00 1.00 1.00 1.00 1.00 1.00
# 4 gdata 128.62 128.67 129.22 129.86 129.69 126.75
readxl
在速度方面,明显的赢家也是如此。gdata
最好再做些其他事情,因为它在读取Excel文件时非常缓慢,而且仅对于较大的表,此问题才会加剧。
两场平局的openxlsx
是:1)其广泛的其他方法(readxl
是专门做只有一两件事,这也许是为什么它是如此之快的部分),特别是它的write.xlsx
2个功能,和)(更多的缺点readxl
)的col_types
在参数readxl
只(如(撰写本文时)接受一些非标准的R
:"text"
代替"character"
和"date"
代替"Date"
。
XLConnect
但速度非常慢;我认为readxl
我的最后一段已充分涵盖了缺点。并且我没有使用xlsx
或openxlsx
经常使用两者来指定类型的经验。
我很幸运XLConnect
:http : //cran.r-project.org/web/packages/XLConnect/index.html
library(RODBC)
file.name <- "file.xls"
sheet.name <- "Sheet Name"
## Connect to Excel File Pull and Format Data
excel.connect <- odbcConnectExcel(file.name)
dat <- sqlFetch(excel.connect, sheet.name, na.strings=c("","-"))
odbcClose(excel.connect)
就个人而言,我喜欢RODBC并且可以推荐它。
openxlsx
今天就试一试。它真的很好(而且很快)。
另一个解决方案是xlsReadWrite
软件包,该软件包不需要额外的安装,但是需要您在首次使用它之前下载其他shlib,方法是:
require(xlsReadWrite)
xls.getshlib()
忘记这一点可能会导致完全沮丧。去过那里...
旁注:您可能要考虑转换为基于文本的格式(例如csv)并从那里读入。这有很多原因:
无论您采用哪种解决方案(RODBC,gdata,xlsReadWrite),在转换数据时都可能会发生一些奇怪的事情。特别是日期可能非常麻烦。该HFWutils
软件包提供了一些处理EXCEL日期的工具(根据@Ben Bolker的评论)。
如果您的工作表很大,则读取文本文件要比从EXCEL读取数据快。
对于.xls和.xlsx文件,可能需要不同的解决方案。EG xlsReadWrite软件包当前不支持.xlsx AFAIK。gdata
要求您安装其他Perl库以支持.xlsx。xlsx
软件包可以处理相同名称的扩展名。
如上所述,在许多其他答案中,有很多不错的程序包可以连接到XLS / X文件并以合理的方式获取数据。但是,应警告您,在任何情况下都不应使用剪贴板(或.csv)文件从Excel中检索数据。要了解原因,请=1/3
在excel中输入单元格。现在,将您可以看到的小数点数量减少到两个。然后将数据复制并粘贴到R中。现在保存CSV。您会注意到,在两种情况下,Excel都仅保留了通过界面对您可见的数据的帮助,并且您已经失去了实际源数据中的所有精度。
gnumeric::read.gnumeric.sheet
。在Windows上,我不确定100%,但我认为gdata::read.xls
也应该能很好地工作(尽管需要安装perl)
通过扩展@Mikko提供的答案,您可以使用巧妙的技巧来加快处理速度,而不必提前“知道”您的列类。只需使用read.xlsx
抓取有限数量的记录来确定类,然后进行后续处理read.xlsx2
例
# just the first 50 rows should do...
df.temp <- read.xlsx("filename.xlsx", 1, startRow=1, endRow=50)
df.real <- read.xlsx2("filename.xlsx", 1,
colClasses=as.vector(sapply(df.temp, mode)))
numeric
了factors
我的电脑上。read.xlsx
使用character
在readColumns
函数指定的因素。我敢肯定,有一种更优雅的方式来获取因子作为字符,但这是您的函数的修改版本,可以正常使用:df.real <- read.xlsx2("filename.xlsx", 1, colClasses=gsub("factor", "character", as.vector(sapply(df.temp, class))))
。
可以将Excel文件直接读取到R中,如下所示:
my_data <- read.table(file = "xxxxxx.xls", sep = "\t", header=TRUE)
使用readxl包读取xls和xlxs文件
library("readxl")
my_data <- read_excel("xxxxx.xls")
my_data <- read_excel("xxxxx.xlsx")