两个大文件的区别

我有“ test1.csv”，它包含

200,400,600,800
100,300,500,700
50,25,125,310

和test2.csv，其中包含

100,4,2,1,7
200,400,600,800
21,22,23,24,25
50,25,125,310
50,25,700,5

现在

diff test2.csv test1.csv > result.csv

与...不同

diff test1.csv test2.csv > result.csv

我不知道哪个是正确的顺序，但是我想要其他东西，上面的两个命令都将输出类似

2 > 100,4,2,1,7
   3 2,3c3,5
   4 < 100,300,500,700
   5 < 50,25,125,310
   6 \ No newline at end of file
   7 ---
   8 > 21,22,23,24,25
   9 > 50,25,125,310

我只想输出差异，因此results.csv应该看起来像这样

100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

我试过了diff -q，diff -s但他们没有成功。顺序无关紧要，重要的是我只希望看到区别，没有>或<也没有空格。

grep -FvF 对较小的文件而不是较大的文件做了the俩

第一个文件包含500万行，第二个文件包含1300行。

所以result.csv应该导致〜4,998,700行

我也试过了grep -F -x -v -f ，那没用。

听起来像是工作comm：

$ comm -3 <(sort test1.csv) <(sort test2.csv)
100,300,500,700
    100,4,2,1,7
    21,22,23,24,25
    50,25,700,5

如中所述man comm：

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

因此，这-3意味着将仅打印文件之一唯一的行。但是，这些缩进将根据在其中找到的文件来缩进。要删除选项卡，请使用：

$ comm -3 <(sort test1.csv) <(sort test2.csv) | tr -d '\t'
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

在这种情况下，您甚至不需要排序文件，并且可以将以上内容简化为：

comm -3 test1.csv test2.csv | tr -d '\t' > difference.csv

使用grep与bash流程替换：

$ cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv)
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

将输出另存为results.csv：

cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv) >results.csv

• <()是bash流程替代模式

• grep -vFf test2.csv test1.csv 会发现只有 test1.csv

• grep -vFf test1.csv test2.csv 会发现只有 test2.csv

• 最后，我们对结果进行总结 cat

或者按照Oli的建议，也可以使用命令分组：

$ { grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv; }
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

或者只是一个接一个地运行，因为它们都在向STDOUT写入数据，因此最终会被添加：

$ grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

如果行顺序不相关，请使用awk或perl：

awk '{seen[$0]++} END {for (i in seen) {if (seen[i] == 1) {print i}}}' 1.csv 2.csv

使用grep以获得公共线和过滤那些出：

grep -hxvFf <(grep -Fxf 1.csv 2.csv) 1.csv 2.csv

内部grep获取公共行，然后外部grep查找与这些公共行不匹配的行。

使用 --*-line-format=...选项diff

您可以diff准确地说出所需内容-如下所述：

diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' f1.txt f2.txt

可以非常详细地指定diff的输出，类似于 printf数字格式。

第一个文件test1.csv中的行称为“旧”行，第二个文件中的行称为test2.csv“新”行。那在什么时候有意义diff用于查看文件中的更改。

我们需要的选项是设置“旧”行，“新”行和“未更改”行的格式的选项。
我们需要的格式非常简单：
对于更改的行（新的和旧的），我们只希望输出行的文本。%L是行文本的格式符号。
对于未更改的行，我们什么也不想显示。

这样，我们可以--old-line-format='%L'使用示例数据编写类似的选项，并将其放在一起：

$ diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' test1.csv test2.csv
100,4,2,1,7
100,300,500,700
21,22,23,24,25
50,25,700,5

性能说明

由于文件大小不同，请不要紧交换输入文件，这可能是因为文件的内部工作原理 diff可以比另一种更好。更好的是需要更少的内存或更少的计算。

有一个用于diff处理大文件的优化选项：--speed-large-files。它使用有关文件结构的假设，因此尚不清楚它是否对您有帮助，但值得尝试。

格式选项在所述man diff下--LTYPE-line-format=LFMT。

由于不需要保留订单，因此只需：

sort test1.csv test2.csv | uniq -u

• sort test1.csv test2.csv：合并和排序，test1.csv以及test2.csv
• uniq -u：仅打印没有重复的行