read.csv警告“带引号的字符串内的EOF”会阻止文件的完全读取


125

我有一个CSV文件(24.1 MB),无法完全读入R会话。当我在电子表格程序中打开文件时,我可以看到112,544行。当我用R将其读入R时,read.csv只会得到56,952行和以下警告:

cit <- read.csv("citations.CSV", row.names = NULL, 
                comment.char = "", header = TRUE, 
                stringsAsFactors = FALSE,  
                colClasses= "character", encoding= "utf-8")

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

我可以使用以下命令将整个文件读入R readLines

rl <- readLines(file("citations.CSV", encoding = "utf-8"))
length(rl)
[1] 112545

但是我无法将其作为表格返回到R中(通过read.csv):

write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE)
rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL)

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

我如何解决或解决此EOF消息(似乎比警告更像是一个错误),以使整个文件进入我的R会话?

其他读取CSV文件的方法也有类似的问题:

require(sqldf)
cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file")
require(data.table)
cit_dt <- fread("citations.CSV")
require(ff)
cit_ff <- read.csv.ffdf(file="citations.CSV")

这是我的sessionInfo()

R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)

locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] tools     tcltk     stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
 [1] ff_2.2-11             bit_1.1-10            data.table_1.8.8      sqldf_0.4-6.4        
 [5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4        chron_2.3-43          gsubfn_0.6-5         
 [9] proto_0.3-10          DBI_0.2-7   

Answers:


197

您需要禁用报价。

cit <- read.csv("citations.CSV", quote = "", 
                 row.names = NULL, 
                 stringsAsFactors = FALSE)

str(cit)
## 'data.frame':    112543 obs. of  13 variables:
##  $ row.names    : chr  "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ...
##  $ id           : chr  "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ...
##  $ doi          : chr  "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ...
##  $ title        : chr  "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ...
##  $ author       : chr  "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ...
##  $ journaltitle : chr  "79\t" "54\t" "41\t" "1\t" ...
##  $ volume       : chr  "3\t" "\t" "1\t" "3\t" ...
##  $ issue        : chr  "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ...
##  $ pubdate      : chr  "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ...
##  $ pagerange    : chr  "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ...
##  $ publisher    : chr  "fla\t" "fla\t" "fla\t" "fla\t" ...
##  $ type         : logi  NA NA NA NA NA NA ...
##  $ reviewed.work: logi  NA NA NA NA NA NA ...

我认为是因为这种线条(选中“ Thorn”和“ Minus”)

 readLines("citations.CSV")[82]
[1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"

谢谢,这很容易解决。现在您如何看待fread这种情况?我喜欢这样做,因为它比快得多read.csv。但fread似乎没有采取quote说法..

1
@Ben我试图使它也无法成功工作,正如您所指出的那样fread,一般而言,嵌入引号不能很好地发挥作用,但是我相信很快就会有解决方法。stackoverflow.com/questions/16094025/…–
dickoa

1
使用时我有7,000行,write.csv()并用403返回read.csv()。添加quote =“”使我最多达到410行。read.table()并没有更好。我想知道还有什么可以尝试的……
Hack-R

2
与Hack-R相同的问题,添加quote =“”使我的行数增加了30,000,但我仍然缺少200,000。
SJDS

1
您能否写一行关于为什么需要添加的内容。(我是一名尝试学习R的Python程序员)。否则,答案是完美的(+1)
巴尔加夫·饶

10

我是R语言的新用户,以为我可以将其发布,以防其他人使用。我试图从包含几个西班牙语字符的文本文件(用逗号分隔)中读取数据,这使我花了很长时间才弄清楚这一点。我知道我需要使用UTF-8编码,将标头arg设置为TRUE,并且需要将sep争论设置为“,”,但随后仍然遇到麻烦。阅读这篇文章后,我尝试将fill arg设置为TRUE,但随后得到了相同的“带引号的字符串内的EOF”,我可以按照上述相同的方式进行修复。我成功的read.table看起来像这样:

target <- read.table("target2.txt", fill=TRUE, header=TRUE, quote="", sep=",", encoding="UTF-8")

结果中包含西班牙语字符和我原来的暗淡效果,所以我称之为成功!谢谢大家!


6

如上所述,在R帮助部分中,只需添加以下内容即可完全禁用引用:

    quote = "" 

read.csv()对我有用。

错误“带引号的字符串内的EOF”发生于:

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F)
    Warning message:
    In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
      EOF within quoted string
    > dim(iproscan.53A.neg)
    [1] 69383    16

并且读入的文件丢失了6,619行。但是通过禁用报价

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F,**quote=""**)    
    > 
    > dim(iproscan.53A.neg)
    [1] 76002    16

工作正常,所有行均已成功读取。


4
您正在重复一个较早的答案,然后通过在代码块内添加不必要的侧翼双星号来削弱其实用性。
IRTFM

3

我也遇到了这个问题,并且能够使用以下方法解决类似的EOF错误:

read.table("....csv", sep=",", ...)

注意,separator参数是在更通用的中定义的read.table()


2
嗨,这对我不起作用。
maycca

3

实际上,使用read.csv()具有文本内容的文件读取不是一个好主意,因为设置引号无效quote=""只是一个临时解决方案,所以只能使用单独的引号。还有其他引起警告的原因,例如一些特殊字符。

永久解决方案(使用read.csv()),找出那些特殊字符并使用正则表达式消除它们是一个想法。

您是否曾经考虑过安装该软件包{data.table}并用于fread()读取文件。它更快,并且不会因这个EOF警告而困扰您。请注意,它加载的文件将存储为data.table对象,而不存储为data.frame对象。类data.table具有许多良好的功能,但是无论如何,您可以as.data.frame()根据需要使用它进行转换。


2

我遇到了类似的问题:EOF-警告,只有部分数据通过read.csv()加载。我尝试了quotes =“”,但只删除了EOF-警告。

但是,查看未加载的第一行时,我发现其中一个单元格中有一个特殊字符,即箭头→(十六进制值0x1A)。删除箭头后,我可以正常加载数据。


1
同样的问题,是否有另一种方法可以解决此问题,而无需任何人工干预?
Mohit

2

我也有类似的问题。但是在我的情况下,问题的原因是由于某些文本值中存在撇号(即单引号)。在处理包含法语文本(例如“ L'autre jour”)的数据时,这尤其常见。

因此,解决方案只是调整quote参数的默认设置以排除«'»符号,因此,使用quote =“ \”“(即双引号),一切正常。

希望对您有所帮助。干杯。


0

readr包将解决这个问题。

install.packages('readr')
library(readr)
readr::read_csv('yourfile.csv')
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.