读取固定宽度的文本文件


89

我正在尝试将此丑陋的数据集加载到我的R会话中:http : //www.cpc.ncep.noaa.gov/data/indices/wksst8110.for

Weekly SST data starts week centered on 3Jan1990

Nino1+2      Nino3        Nino34        Nino4
Week          SST SSTA     SST SSTA     SST SSTA     SST SSTA 
03JAN1990     23.4-0.4     25.1-0.3     26.6 0.0     28.6 0.3 
10JAN1990     23.4-0.8     25.2-0.3     26.6 0.1     28.6 0.3 
17JAN1990     24.2-0.3     25.3-0.3     26.5-0.1     28.6 0.3

到目前为止,我可以阅读以下内容

  x = readLines(path)

但是该文件将“空格”与“-”作为分隔符混合使用,我不是正则表达式专家。我非常感谢您将其转换为美观而干净的R数据帧的任何帮助。谢谢!


5
并看一下read.fwf以读取固定宽度格式的数据。
Paul Hiemstra 2013年

1
我认为处理每一行是一个更好的主意。它将'-'与''字符混合在一起。
Fernando

另外,您可以说空格或-只是一个字符,因此首先用制表符替换所有出现的多次空格,然后在-或空白处拆分所有制表符分隔的条目。
GitaarLAB

固定宽度=无分隔符。这意味着“-”是一个负号,空格也不是分隔符,它们只是在数字没有填满整个可用宽度时出现
Eusebio Rufian-Zilbermann

Answers:


181

这是一个固定宽度的文件。使用read.fwf()来阅读:

x <- read.fwf(
  file=url("http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for"),
  skip=4,
  widths=c(12, 7, 4, 9, 4, 9, 4, 9, 4))

head(x)

            V1   V2   V3   V4   V5   V6   V7   V8  V9
1  03JAN1990   23.4 -0.4 25.1 -0.3 26.6  0.0 28.6 0.3
2  10JAN1990   23.4 -0.8 25.2 -0.3 26.6  0.1 28.6 0.3
3  17JAN1990   24.2 -0.3 25.3 -0.3 26.5 -0.1 28.6 0.3
4  24JAN1990   24.4 -0.5 25.5 -0.4 26.5 -0.1 28.4 0.2
5  31JAN1990   25.1 -0.2 25.8 -0.2 26.7  0.1 28.4 0.2
6  07FEB1990   25.8  0.2 26.1 -0.1 26.8  0.1 28.4 0.3

更新资料

该软件包readr(2015年4月发布)提供了一种简单快速的替代方法。

library(readr)

x <- read_fwf(
  file="http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for",   
  skip=4,
  fwf_widths(c(12, 7, 4, 9, 4, 9, 4, 9, 4)))

速度比较: readr::read_fwf()比快约2倍utils::read.fwf ()


8
@Andrie你怎么知道什么是宽度和跳跃?
科巴2014年

12
@Koba:我将其中的一行复制并粘贴到具有列数的文本编辑器中,并手动计算每列的宽度(必要时包括空格)。您还可以告诉您在获取原始数据之前需要跳过4条整行。
rayryeng 2014年

5
@Pavithra的以下答案具有负的列宽(用于跳过不需要的空格)可能更适合于已接受的答案。
Marius Butuc 2014年

1
@Andrie您如何获得fwf_widths值的?
BICube

3
@Ala我相信readr::fwf_empty会尝试为您猜测宽度。的示例readr::read_fwf显示的用法readr::fwf_empty
杰克·费舍尔


20

首先,这个问题直接来自Leeks的Coursera“获取数据并清理”课程。虽然还有另一部分问题,但最困难的部分是读取文件。

也就是说,该课程主要用于学习。

我讨厌R的固定宽度程序。它很慢,并且对于大量变量,否定某些列等很快变得很痛苦。

我认为它更容易使用readLines(),然后从中使用substr()来制作变量

x <- readLines(con=url("http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for"))

# Skip 4 lines
x <- x[-(1:4)]

mydata <- data.frame(var1 = substr(x, 1, 10),
                     var2 = substr(x, 16, 19),
                     var3 = substr(x, 20, 23),
                     var4 = substr(x, 29, 32)  # and so on and so on
                     )

2
这种方法对我有用。另外两个提示:1)您可以将mydata定义为仅需要的数据。因此,就像mydata <- data.frame(var4 = substr(x,29,32))您只需要第四列数据一样简单。此外,对于Windows用户,带有TextFX插件的Notepad ++将为您提供一个简单明了的计数字符标尺,因此您可以弄清楚在中的起始值和终止值中应包含哪些内容substr。但是请注意,停止值比要保留的最后一个字符的位置大一。
globalSchmidt


5

在这里记录了在R中读取固定宽度文件的替代方法列表,并提供了一些最快的基准测试。

我的首选方法是freadstringi;作为最快的方法,它具有竞争力,并且具有将数据存储为的附加好处(IMO)data.table

library(data.table)
library(stringi)

col_ends <- 
  list(beg = c(1, 10, 15, 19, 23, 28, 32, 36,
               41, 45, 49, 54, 58),
       end = c(9, 14, 18, 22, 27, 31, 35,
               40, 44, 48, 53, 57, 61))

data = fread(
  "http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for", 
  header = FALSE, skip = 4L, sep = NULL
  )[, lapply(1:(length(col_ends$beg)),
             function(ii) 
               stri_sub(V1, col_ends$beg[ii], col_ends$end[ii]))
    ][ , paste0("V", c(2, 5, 8, 11)) := NULL]
#              V1   V3   V4   V6   V7   V9  V10  V12  V13
#    1: 03JAN1990 23.4 -0.4 25.1 -0.3 26.6  0.0 28.6  0.3
#    2: 10JAN1990 23.4 -0.8 25.2 -0.3 26.6  0.1 28.6  0.3
#    3: 17JAN1990 24.2 -0.3 25.3 -0.3 26.5 -0.1 28.6  0.3
#    4: 24JAN1990 24.4 -0.5 25.5 -0.4 26.5 -0.1 28.4  0.2
#    5: 31JAN1990 25.1 -0.2 25.8 -0.2 26.7  0.1 28.4  0.2
#   ---                                                  
# 1365: 24FEB2016 27.1  0.9 28.4  1.8 29.0  2.1 29.5  1.4
# 1366: 02MAR2016 27.3  1.0 28.6  1.8 28.9  1.9 29.5  1.4
# 1367: 09MAR2016 27.7  1.2 28.6  1.6 28.9  1.8 29.6  1.5
# 1368: 16MAR2016 27.5  1.0 28.8  1.7 28.9  1.7 29.6  1.4
# 1369: 23MAR2016 27.2  0.9 28.6  1.4 28.8  1.5 29.5  1.2

请注意,fread自动剥离开头和结尾的空格-有时,这是不希望的,在这种情况下为set strip.white = FALSE


我们还可以ww通过执行以下操作从列宽矢量开始:

ww <- c(9, 5, 4, 4, 5, 4, 4, 5, 4, 4, 5, 4, 4)
nd <- cumsum(ww)

col_ends <-
  list(beg = c(1, nd[-length(nd)]+1L),
       end = nd)

而且我们可以通过使用负索引来选择更可靠地排除哪些列:

col_ends <- 
  list(beg = c(1, -10, 15, 19, -23, 28, 32, -36,
               41, 45, -49, 54, 58),
       end = c(9, 14, 18, 22, 27, 31, 35,
               40, 44, 48, 53, 57, 61))

然后col_ends$beg[ii]abs(col_ends$beg[ii])和替换下一行:

paste0("V", which(col_ends$beg < 0))

最后,如果您还希望以编程方式读取列名,则可以使用以下命令进行清理readLines

cols <-
  gsub("\\s", "", 
       sapply(1:(length(col_ends$beg)),
              function(ii) 
                stri_sub(readLines(URL, n = 4L)[4L], 
                         col_ends$beg[ii]+1L,
                         col_ends$end[ii]+1L)))

cols <- cols[cols != ""]

(请注意,将此步骤与结合使用fread将需要创建表的副本才能删除标题行,因此对于大型数据集而言效率不高)


4

我对R一无所知,但是我可以为您提供可匹配以下行的正则表达式:

\s[0-9]{2}[A-Z]{3}[0-9]{4}(\s{5}[0-9]+\.[0-9]+[ -][0-9]+\.[0-9]+){4}
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.