仅读取选定的列

134

谁能告诉我如何通过以下方式每年仅读取以下数据的前6个月（7列）read.table()？

Year   Jan  Feb  Mar  Apr  May  Jun  Jul  Aug  Sep  Oct  Nov  Dec   
2009   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25
2010   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25 
2011   -21  -27   -2   -6  -10  -32  -13  -12  -27  -30  -38  -29

r import r-faq

— 星际宝贝
source

5

它与仅将文件中的选择列读入R的方式重复吗？，Dirk 在回答中提到了NULL专栏课程。

— Marek

stats.stackexchange.com/questions/16796/...

— 西罗桑蒂利郝海东冠状病六四事件法轮功

2

@CiroSantilli包子露宪六四事件法轮功当然，但是...我先问了吗？

— StarCub

我并不是在暗示更好/更糟糕的关系。此外，没有交叉站点重复项，除非您交叉发布自己，否则不一致的堆栈交换网络允许它们：-)

— Ciro Santilli郝海东冠状病六四事件法轮轮功

157

说数据在文件中data.txt，您可以使用colClasses参数read.table()跳过列。这是前7列中的数据，"integer"我们将其余6列设置为"NULL"指示应跳过它们

> read.table("data.txt", colClasses = c(rep("integer", 7), rep("NULL", 6)), 
+            header = TRUE)
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

根据实际数据类型，更改"integer"为详细说明的可接受的类型?read.table之一。

data.txt 看起来像这样：

$ cat data.txt 
"Year" "Jan" "Feb" "Mar" "Apr" "May" "Jun" "Jul" "Aug" "Sep" "Oct" "Nov" "Dec"
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29

并通过使用创建

write.table(dat, file = "data.txt", row.names = FALSE)

这里dat是

dat <- structure(list(Year = 2009:2011, Jan = c(-41L, -41L, -21L), Feb = c(-27L, 
-27L, -27L), Mar = c(-25L, -25L, -2L), Apr = c(-31L, -31L, -6L
), May = c(-31L, -31L, -10L), Jun = c(-39L, -39L, -32L), Jul = c(-25L, 
-25L, -13L), Aug = c(-15L, -15L, -12L), Sep = c(-30L, -30L, -27L
), Oct = c(-27L, -27L, -30L), Nov = c(-21L, -21L, -38L), Dec = c(-25L, 
-25L, -29L)), .Names = c("Year", "Jan", "Feb", "Mar", "Apr", 
"May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"), class = "data.frame",
row.names = c(NA, -3L))

如果事先不知道列数，则实用程序功能count.fields将通读文件并计算每行中的字段数。

## returns a vector equal to the number of lines in the file
count.fields("data.txt", sep = "\t")
## returns the maximum to set colClasses
max(count.fields("data.txt", sep = "\t"))

— 加文·辛普森
source

1

@Benjamin使用arguments从文件中读取前几行nrows。然后计算出正在使用的列数ncol()，或者，否则，您要计算出要读取/忽略的列数。然后使用此信息读取完整文件。

— 加文·辛普森

1

?? 如果您不知道列数，您将如何确定它而不读一点来推断出多少列呢？

— 加文·辛普森

1

@BlueMagister感谢您的编辑和提及，count.fields()它使我在评论中建议的过程自动化。

— 加文·辛普森

1

@LéoLéopoldHertz준영不，我不确定这种事情如何适用于数据框中的行类，尽管每一列可能具有不同的类型，但根据定义，每一行都是不受限制的。您将需要在导入时过滤掉空白行等。

— 加文·辛普森

1

@rmf您可以传递count.fields()文本连接，因此，使用读取行的某些子集txt <- readLines(....)，然后创建与读取行的连接con <- textConnection(txt)，然后执行count.fields(txt)。如果有，请确保使用skipin count.fields()跳过标题行；您不能使用跳过文件中的行readLines()。

— 加文·辛普森

82

要从数据集中读取一组特定的列，还有其他几种选择：

1）fread从data.table-package中：

您可以使用指定所需的列select从参数fread从data.table包。您可以使用列名或列号的向量指定列。

对于示例数据集：

library(data.table)
dat <- fread("data.txt", select = c("Year","Jan","Feb","Mar","Apr","May","Jun"))
dat <- fread("data.txt", select = c(1:7))

或者，您可以使用drop参数来指示不应读取的列：

dat <- fread("data.txt", drop = c("Jul","Aug","Sep","Oct","Nov","Dec"))
dat <- fread("data.txt", drop = c(8:13))

全部导致：

> data
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

更新：当您不想fread返回data.table时，请使用data.table = FALSE-parameter，例如：fread("data.txt", select = c(1:7), data.table = FALSE)

2）read.csv.sql从sqldf-package开始：

另一个选择是包装中的read.csv.sql功能sqldf：

library(sqldf)
dat <- read.csv.sql("data.txt",
                    sql = "select Year,Jan,Feb,Mar,Apr,May,Jun from file",
                    sep = "\t")

3）使用read_*-package中的readr-functions：

library(readr)
dat <- read_table("data.txt",
                  col_types = cols_only(Year = 'i', Jan = 'i', Feb = 'i', Mar = 'i',
                                        Apr = 'i', May = 'i', Jun = 'i'))
dat <- read_table("data.txt",
                  col_types = list(Jul = col_skip(), Aug = col_skip(), Sep = col_skip(),
                                   Oct = col_skip(), Nov = col_skip(), Dec = col_skip()))
dat <- read_table("data.txt", col_types = 'iiiiiii______')

从文档中，使用的字符说明col_types如下：

每个字符代表一列：c =字符，i =整数，n =数字，d =双精度，l =逻辑，D =日期，T =日期时间，t =时间，？=猜测，或_ /-跳过该列

— 夏普
source

fread但是不支持压缩文件。大文件通常被压缩。

— CoderGuy123 '16

有一种功能要求启用此在fread。值得注意的是，fread读取未压缩文件的速度可能比读取压缩文件的速度快得多read.table。请参阅此处的示例。

— Jaap 2016年

一些未压缩的文件太大。例如，我正在处理1000个基因组文件。它们可以是60 GB未压缩的。

— CoderGuy123 '16

1

您可能知道，R读取内存中的数据。读取压缩文件还是解压缩文件都不会影响内存中结果数据的大小。如果您有60GB的文件，read.table将无法保存您。在这种情况下，您可能需要查看ff-package。

— Jaap

2

@Deleet您可以fread用来读取大型压缩文件，例如：fread("gunzip -c data.txt.gz", drop = c(8:13))。

— arekolek

8

您也可以使用JDBC实现此目的。让我们创建一个示例csv文件。

write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file

从以下链接下载并保存CSV JDBC驱动程序：http : //sourceforge.net/projects/csvjdbc/files/latest/download

> library(RJDBC)

> path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar"
> drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver)
> conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd()))

> head(dbGetQuery(conn, "select * from mtcars"), 3)
   mpg cyl disp  hp drat    wt  qsec vs am gear carb
1   21   6  160 110  3.9  2.62 16.46  0  1    4    4
2   21   6  160 110  3.9 2.875 17.02  0  1    4    4
3 22.8   4  108  93 3.85  2.32 18.61  1  1    4    1

> head(dbGetQuery(conn, "select mpg, gear from mtcars"), 3)
   MPG GEAR
1   21    4
2   21    4
3 22.8    4

— 拉胡尔（Rahul Premraj）
source

0

您可以这样操作：

df = read.table("file.txt", nrows=1, header=TRUE, sep="\t", stringsAsFactors=FALSE)
colClasses = as.list(apply(df, 2, class))
needCols = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun")
colClasses[!names(colClasses) %in% needCols] = list(NULL)
df = read.table("file.txt", header=TRUE, colClasses=colClasses, sep="\t", stringsAsFactors=FALSE)

— 陶土
source