Questions tagged «csv»

按照目前的情况，这个问题不适合我们的问答形式。我们希望答案会得到事实，参考或专业知识的支持，但是这个问题可能会引起辩论，争论，民意测验或进一步的讨论。如果您认为此问题可以解决并且可以重新提出，请访问帮助中心以获取指导。 8年前关闭。 在某些自由许可下，是否可以很好且免费地实现CSV解析器？Java 的SuperCSV的对应版本，也许是端口？

89 c#  csv 

我有一个Python脚本，该脚本导入一个大型CSV文件，然后计算该文件中每个单词的出现次数，然后将计数导出到另一个CSV文件。 但是发生的是，一旦计数部分完成并开始输出，它就会Killed在终端上说。 我不认为这是内存问题（如果是的话，我认为我会遇到内存错误而不是Killed）。 可能是这个过程花了太长时间吗？如果是这样，有没有办法延长超时期限，这样我可以避免这种情况？ 这是代码： csv.field_size_limit(sys.maxsize) counter={} with open("/home/alex/Documents/version2/cooccur_list.csv",'rb') as file_name: reader=csv.reader(file_name) for row in reader: if len(row)>1: pair=row[0]+' '+row[1] if pair in counter: counter[pair]+=1 else: counter[pair]=1 print 'finished counting' writer = csv.writer(open('/home/alex/Documents/version2/dict.csv', 'wb')) for key, value in counter.items(): writer.writerow([key, value]) 而且Killed发生后finished counting已打印，以及完整的信息是： killed (program exited with code: 137)

89 python  csv  etl  kill 

有很多使用python读取csv数据的示例，例如： import csv with open('some.csv', newline='') as f: reader = csv.reader(f) for row in reader: print(row) 我只想读取一行数据并将其输入到各种变量中。我怎么做？我到处都在寻找一个可行的例子。 我的代码仅检索i的值，而没有其他值 reader = csv.reader(csvfile, delimiter=',', quotechar='"') for row in reader: i = int(row[0]) a1 = int(row[1]) b1 = int(row[2]) c1 = int(row[2]) x1 = int(row[2]) y1 = int(row[2]) z1 = int(row[2])

89 python  file  csv  iterator  next 

我有一个CSV文件。它包含140万行数据，因此我无法在Excel中打开该csv文件，因为其限制约为100万行。 因此，我想将此文件导入MySQL工作台中。此csv文件包含以下列 "Service Area Code","Phone Numbers","Preferences","Opstype","Phone Type" 我试图在MySQL工作台中创建一个名为“ dummy”的表，其中包含诸如 ServiceAreaCodes,PhoneNumbers,Preferences,Opstyp,PhoneTyp. CSV文件名为model.csv。我在工作台中的代码是这样的： LOAD DATA LOCAL INFILE 'model.csv' INTO TABLE test.dummy FIELDS TERMINATED BY ',' lines terminated by '\n'; 但我收到类似的错误 model.CSV file not found

88 mysql  csv  import 

因此，我有一个数据文件（以分号分隔），该文件包含很多详细信息和不完整的行（导致Access和SQL阻塞）。它是40年的县级数据集，分为多个细分，子细分和子细分（共200个因子）。简而言之，它是巨大的，如果我尝试简单地阅读它，它将不适合内存。 所以我的问题是，考虑到我想要所有的县，但是只有一年（并且只有最高级别的细分……最终导致大约100,000行），什么是最好的方法此汇总到R？ 目前，我正在尝试与Python无关的事情，通过一次读取和操作一行来绕过文件大小限制，但是我更喜欢仅R的解决方案（CRAN包可以）。有没有类似的方法可以一次在R中读取文件？ 任何想法将不胜感激。 更新： 约束条件 需要使用我的机器，所以没有EC2实例 尽可能仅R。在这种情况下，速度和资源不是问题...只要我的机器不爆炸... 如下所示，数据包含混合类型，稍后我需要对其进行操作 数据 数据为3.5GB，约850万行和17列 几千行（〜2k）格式错误，只有一列而不是17列 这些完全不重要，可以删除 我只需要该文件中的约100,000行（见下文） 数据示例： County; State; Year; Quarter; Segment; Sub-Segment; Sub-Sub-Segment; GDP; ... Ada County;NC;2009;4;FIRE;Financial;Banks;80.1; ... Ada County;NC;2010;1;FIRE;Financial;Banks;82.5; ... NC [Malformed row] [8.5 Mill rows] 我想删掉一些列并从40个可用年（1980-2020年的2009-2010年）中选择两个，以便使数据适合R： County; State; Year; Quarter; Segment; GDP; ... Ada County;NC;2009;4;FIRE;80.1; ... Ada County;NC;2010;1;FIRE;82.5; ... …

87 r  csv 

我正在制作一个shell脚本，将sqlite查询导出到一个csv文件，就像这样： #!/bin/bash ./bin/sqlite3 ./sys/xserve_sqlite.db ".headers on" ./bin/sqlite3 ./sys/xserve_sqlite.db ".mode csv" ./bin/sqlite3 ./sys/xserve_sqlite.db ".output out.csv" ./bin/sqlite3 ./sys/xserve_sqlite.db "select * from eS1100_sensor_results;" ./bin/sqlite3 ./sys/xserve_sqlite.db ".exit" 执行脚本时，输出将在屏幕上显示，而不是保存到“ out.csv”。它正在使用命令行执行相同的方法，但是我不知道为什么shell脚本无法将数据导出到文件中。 我究竟做错了什么？

87 sqlite  shell  csv 

我正在尝试访问model.filefieldDjango中的，以使用该模块解析Python中的CSV文件csv。它可以在Windows上运行，但在Mac上可以达到以下目的： Exception Type: Error Exception Value: new-line character seen in unquoted field - do you need to open the file in universal-newline mode? 这是代码： myfile = customerbulk.objects.all()[0].fileup mydata = csv.reader(myfile) for email,mobile,name,civilid in mydata: print email,mobile,name,civilid

86 django  macos  csv  newline  python-2.x 

关闭。这个问题是题外话。它当前不接受答案。 想改善这个问题吗？ 更新问题，使其成为Stack Overflow的主题。 8年前关闭。 改善这个问题 我一直在SQL Server 2005努力尝试避免获取大量数据。我已经获得了一个包含近300个表的数据库，我需要将其转换为MySQL数据库。我的第一个电话是使用bcp，但不幸的是，它不会产生有效的CSV-字符串未封装，因此您不能处理其中包含逗号的字符串的任何行（或用作分隔符的任何行）而且我仍然必须手写所有的create table语句，因为显然CSV不会告诉您有关数据类型的任何信息。 最好是如果有一些工具可以同时连接到SQL Server和MySQL，然后进行复制。您会丢失视图，存储过程，触发器等，但是将仅使用基本类型的表从一个数据库复制到另一个数据库并不难...是吗？ 有人知道这样的工具吗？只要它支持整数，浮点数，日期时间和字符串，我都不介意它会做出多少假设或会发生什么简化。无论如何，我都必须进行大量的修剪，规范化等工作，因此我不在乎保留键，关系或类似的东西，但是我需要快速的初始数据集！

86 mysql  sql-server  csv  sql-server-2005  bcp 

我将报告生成为CSV文件。当我尝试在Excel中打开文件时，它会根据单元格的内容对数据类型进行假设，并相应地重新格式化。 例如，如果CSV文件包含 ...,005,... 然后Excel将其显示为5。是否有方法可以覆盖它并显示005？ 我希望对文件本身做一些事情，以便用户可以双击CSV文件将其打开。 我使用Excel 2003。

86 excel  csv  formatting  number-formatting 

我正在尝试将列表导出到CSV文件。我已经完成所有工作，直到我想将文件写入响应流。这什么也没做。 这是我的代码： 从页面调用方法。 $('#btn_export').click(function () { $.post('NewsLetter/Export'); }); 控制器中的代码如下： [HttpPost] public void Export() { try { var filter = Session[FilterSessionKey] != null ? Session[FilterSessionKey] as SubscriberFilter : new SubscriberFilter(); var predicate = _subscriberService.BuildPredicate(filter); var compiledPredicate = predicate.Compile(); var filterRecords = _subscriberService.GetSubscribersInGroup().Where(x => !x.IsDeleted).AsEnumerable().Where(compiledPredicate).GroupBy(s => s.Subscriber.EmailAddress).OrderBy(x => x.Key); ExportAsCSV(filterRecords); } catch …

85 c#  jquery  asp.net-mvc  csv 

我有一个名为“ A.csv”的CSV文件。我需要使用来自“ A.csv”的数据生成一个名为“ B.csv”的新CSV文件。 我将使用“ A.csv”中列的子集，并且必须将一列的值更新为“ B.csv”中的新值。最终，我将使用B.csv中的数据对数据库进行验证。 如何创建新的CSV文件？ 如何将所需列的数据从A.csv复制到“ B.csv”？ 如何为特定列附加值？ 我是Ruby的新手，但是我可以读取CSV来获取数组或哈希。

84 ruby  csv 

我正在尝试编写一个程序，该程序查看.CSV文件（input.csv）并仅重写以某个元素（corrected.csv）开头的行，如文本文件（output.txt）中所列。 这是我的程序现在的样子： import csv lines = [] with open('output.txt','r') as f: for line in f.readlines(): lines.append(line[:-1]) with open('corrected.csv','w') as correct: writer = csv.writer(correct, dialect = 'excel') with open('input.csv', 'r') as mycsv: reader = csv.reader(mycsv) for row in reader: if row[0] not in lines: writer.writerow(row) 不幸的是，我一直收到此错误，而且我不知道它是什么。 Traceback (most recent call last): …

84 python  csv 

我编写了一个Python脚本，用于合并两个csv文件，现在我想在最终的csv中添加标头。我尝试按照此处报告的建议进行操作，但出现以下错误：expected string, float found。解决此问题的最有效方法是什么？ 这是我正在使用的代码： import csv with open('combined_file.csv', 'w', newline='') as outcsv: writer = csv.DictWriter(outcsv, fieldnames = ["Date", "temperature 1", "Temperature 2"]) writer.writeheader() with open('t1.csv', 'r', newline='') as incsv: reader = csv.reader(incsv) writer.writerows(row + [0.0] for row in reader) with open('t2.csv', 'r', newline='') as incsv: reader = csv.reader(incsv) writer.writerows(row[:1] …

84 python  csv  header 

我正在尝试从PyQt4创建csv格式的文本文件QTableWidget。我想用UTF-8编码写文本，因为它包含特殊字符。我使用以下代码： import codecs ... myfile = codecs.open(filename, 'w','utf-8') ... f = result.table.item(i,c).text() myfile.write(f+";") 它一直工作到单元格包含特殊字符为止。我也尝试过 myfile = open(filename, 'w') ... f = unicode(result.table.item(i,c).text(), "utf-8") 但是，当出现特殊字符时，它也会停止。我不知道我在做什么错。

83 python  csv  encoding  utf-8 

我在TensorFlow领域相对较新，对您如何将CSV数据实际读入TensorFlow中可用的示例/标签张量的方式感到困惑。TensorFlow教程中有关读取CSV数据的示例相当分散，仅使您成为能够训练CSV数据的一部分。 这是我根据CSV教程整理而成的代码： from __future__ import print_function import tensorflow as tf def file_len(fname): with open(fname) as f: for i, l in enumerate(f): pass return i + 1 filename = "csv_test_data.csv" # setup text reader file_length = file_len(filename) filename_queue = tf.train.string_input_producer([filename]) reader = tf.TextLineReader(skip_header_lines=1) _, csv_row = reader.read(filename_queue) # setup CSV decoding …

83 python  csv  tensorflow