是否有用于处理csv文件的强大命令行工具？

我使用CSV文件，有时需要从命令行快速检查行或列的内容。在许多情况下cut，head，tail，和朋友将做的工作; 但是，割伤无法轻松应对以下情况

"this, is the first entry", this is the second, 34.5

在这里，第一个逗号是第一个字段的一部分，但cut -d, -f1不同意。在我自己编写解决方案之前，我想知道是否有人知道用于此工作的好工具。它至少必须能够处理上面的示例，并从CSV格式的文件返回一列。其他理想的功能包括根据第一行中给出的列名选择列的能力，对其他引用样式的支持以及对制表符分隔文件的支持。

如果您不了解这样的工具，但是对使用Bash，Perl或Python或其他常见脚本语言实现这样的程序有建议，那么我不会介意这样的建议。

您可以使用Python的csv模块。

一个简单的例子：

import csv
reader = csv.reader(open("test.csv", "r"))
for row in reader:
    for col in row:
        print col

我可能为时已晚，但是还有另一个值得一提的工具：csvkit

http://csvkit.readthedocs.org/

它具有许多命令行工具，它们可以：

• 重新格式化CSV文件，
• 各种格式（JSON，SQL，XLS）之间的CSV相互转换，
• 相当于cut，grep，sort等人，但CSV感知，
• 加入不同的CSV文件，
• 对CSV文件中的数据执行常规SQL查询。

听起来对Perl来说是一项工作Text::CSV。

perl -MText::CSV -pe '
    BEGIN {$csv = Text::CSV->new();}
    $csv->parse($_) or die;
    @fields = $csv->fields();
    print @fields[1,3];
'

请参阅文档以了解如何处理列名。分隔符和引用样式可以使用的参数进行调整new。另请参见Text::CSV::Separator分隔符猜测。

我发现csvfix是一个命令行工具，可以很好地完成这项工作。但是，您需要自己制作：

http://neilb.bitbucket.org/csvfix

它可以完成您期望的所有功能，排序/选择列，拆分/合并以及许多您不希望从CSV数据生成SQL插入和区分CSV数据的事情。

如果您想使用命令行（而不是创建整个程序来完成这项工作），则想使用rows（我正在研究的一个项目）：它是表格数据的命令行界面，但是在程序中使用的Python库。使用命令行界面，您可以使用简单的命令以CSV，XLS，XLSX，HTML或库支持的任何其他表格格式漂亮地打印任何数据：

rows print myfile.csv

如果myfile.csv是这样的：

state,city,inhabitants,area
RJ,Angra dos Reis,169511,825.09
RJ,Aperibé,10213,94.64
RJ,Araruama,112008,638.02
RJ,Areal,11423,110.92
RJ,Armação dos Búzios,27560,70.28

然后，行将以精美的方式打印内容，如下所示：

+-------+-------------------------------+-------------+---------+
| state |              city             | inhabitants |   area  |
+-------+-------------------------------+-------------+---------+
|    RJ |                Angra dos Reis |      169511 |  825.09 |
|    RJ |                       Aperibé |       10213 |   94.64 |
|    RJ |                      Araruama |      112008 |  638.02 |
|    RJ |                         Areal |       11423 |  110.92 |
|    RJ |            Armação dos Búzios |       27560 |   70.28 |
+-------+-------------------------------+-------------+---------+

正在安装

如果您是Python开发人员，并且已经pip安装在计算机上，则只需在virtualenv内运行或使用以下命令即可sudo：

pip install rows

如果您使用的是Debian：

sudo apt-get install rows

其他酷功能

转换格式

您可以在任何受支持的格式之间进行转换：

rows convert myfile.xlsx myfile.csv

查询方式

是的，您可以将SQL转换为CSV文件：

$ rows query 'SELECT city, area FROM table1 WHERE inhabitants > 100000' myfile.csv
+----------------+--------+
|      city      |  area  |
+----------------+--------+
| Angra dos Reis | 825.09 |
|       Araruama | 638.02 |
+----------------+--------+

使用--output参数也可以将查询的输出转换为文件而不是stdout 。

作为Python库

您也可以在Python程序中：

import rows
table = rows.import_from_csv('myfile.csv')
rows.export_to_txt(table, 'myfile.txt')
# `myfile.txt` will have same content as `rows print` output

希望你喜欢它！

R不是我最喜欢的编程语言，但是它对像这样的事情有好处。如果您的csv文件是

***********
foo.csv
***********
 col1, col2, col3
"this, is the first entry", this is the second, 34.5
'some more', "messed up", stuff

在R解释器类型内

> x=read.csv("foo.csv", header=FALSE)

> x
                     col1                col2   col3
1 this, is the first entry  this is the second   34.5
2              'some more'           messed up  stuff
> x[1]  # first col
                      col1
1 this, is the first entry
2              'some more'
> x[1,] # first row
                      col1                col2  col3
1 this, is the first entry  this is the second  34.5

关于您的其他请求，有关“根据第一行中给出的列名选择列的能力”，请参见

> x["col1"]
                      col1
1 this, is the first entry
2              'some more'

有关“对其他引用样式的支持”，请参见quoteread.csv（和相关函数）的参数。有关“对制表符分隔文件的支持”，请参见sepread.csv 的参数（设置sep为'\ t'）。

有关更多信息，请参见在线帮助。

> help(read.csv)

我曾经使用过csvtool，它为我节省了很多时间和麻烦。可从外壳调用。

http://caml.inria.fr/cgi-bin/hump.en.cgi?contrib=447

Miller是用于处理基于名称的数据（包括CSV（带有标题））的另一个不错的工具。要提取CSV文件的第一列而不关心其名称，您可以执行以下操作

printf '"first,column",second,third\n1,2,3\n' |
  mlr --csv --implicit-csv-header --headerless-csv-output cut -f 1

或者，您可以尝试一些awk魔术。Howewer，我不是awk的好用户，无法确认它是否可以正常工作以及如何执行。

还可以查看GNU Recutils和美眉工具。

（通过http://www.reddit.com/r/commandline/comments/mfcu9/anyone_using_gnu_recutils_is_it_outdatedsuperceded/）

要从命令行使用python，您可以签出pythonpy（https://github.com/Russell91/pythonpy）：

$ echo $'a,b,c\nd,e,f' | py '[x[1] for x in csv.reader(sys.stdin)']
b
e

尝试“ csvtool”此软件包，它是用于处理CSV文件的便捷命令行工具

cissy还将执行命令行csv处理。它是用C（小型/轻量级）编写的，其中rpm和deb软件包可用于大多数发行版。

使用示例：

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 1
"this, is the first entry"

要么

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 2
 this is the second

要么

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 2-
 this is the second, 34.5

还有一个Curry库，用于以CSV格式读取/写入文件：CSV。

github repo 结构化文本工具提供了有关Linux命令行工具的有用列表。特别是，“ 分隔符分隔值”部分列出了几个可直接支持所请求操作的支持CSV的工具。

我建议xsv-用Rust（Github）编写的快速CSV命令行工具包。

由Ripgrep的作者撰写。

在我们如何使CSV处理速度提高142倍（Reddit thread）中进行了介绍。

最好的工具之一是Miller（http://johnkerl.org/miller/doc/index.html）。就像awk，sed，cut，join和对名称索引数据（例如CSV，TSV和表格JSON）进行排序。

在例子中

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --icsv --implicit-csv-header cat

给你

1=this, is the first entry,2= this is the second,3= 34.5

如果您想要TSV

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --c2t --implicit-csv-header cat

给你（可以删除标题）

1       2       3
this, is the first entry         this is the second      34.5

如果要第一列和第三列，请更改其顺序

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --csv --implicit-csv-header --headerless-csv-output cut -o -f 3,1

给你

 34.5,"this, is the first entry"

如果您要在终端中使用可视/交互式工具，我会全力推荐VisiData。

它具有频率表（如上所示），数据透视表，融化，散点图，使用Python进行的过滤/计算等。

您可以像这样传递csv文件

vd hello.csv

有CSV特定的选项：--csv-dialect，--csv-delimiter，--csv-quotechar，和--csv-skipinitialspace为CSV文件微调处理。

awk解决方案

awk -vq='"' '
func csv2del(n) {
  for(i=n; i<=c; i++)
    {if(i%2 == 1) gsub(/,/, OFS, a[i])
    else a[i] = (q a[i] q)
    out = (out) ? out a[i] : a[i]}
  return out}
{c=split($0, a, q); out=X;
  if(a[1]) $0=csv2del(1)
  else $0=csv2del(2)}1' OFS='|' file