为什么我的分类文件更大？

我有一个2958616字节的文本文件。运行时 sort < file.txt | uniq > sorted-file.txt，我得到一个3213965字节的文本文件。为什么我的排序文本文件更大？

您可以在此处下载文本文件。

当您的原始文件中有以结尾\n的行时，已排序的文件中包含\r\n。的添加\r会改变大小。

为了说明这一点，当我在Linux系统上运行命令时会发生以下情况：

$ sort < file.txt | uniq > sorted-file.linux.txt
$ ls -l file.txt sorted-file.linux.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
$ wc -l file.txt sorted-file.linux.txt 
273882 file.txt
271576 sorted-file.linux.txt

如您所见，已排序的重复数据删除文件短了几行，因此也缩小了几个字节。但是，您的文件是不同的：

$ wc -l sorted-file.linux.txt sorted-file.txt 
271576 sorted-file.linux.txt
271576 sorted-file.txt

这两个文件的行数完全相同，但是：

$ ls -l file.txt sorted-file.linux.txt sorted-file.txt 
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt
-rw-r--r-- 1 terdon terdon 3213965 Jul 10 12:11 sorted-file.txt

的sorted-file.txt，我从你的链接下载一个，就是大。如果现在检查第一行，则可以看到额外的内容\r：

$ head -n1 sorted-file.txt | od -c
0000000   a  \r  \n
0000003

我在Linux上创建的版本中没有这些功能：

$ head -n1 sorted-file.linux.txt | od -c
0000000   a  \n
0000002

如果我们现在\r从您的文件中删除：

$ tr -d '\r' < sorted-file.txt > new-sorted-file.txt

我们得到了预期的结果，该文件比原始文件小，就像我在系统上创建的文件一样：

$ ls -l sorted-file.linux.txt new-sorted-file.txt file.txt
-rw-r--r-- 1 terdon terdon 2958616 Jul 10 12:11 file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:19 new-sorted-file.txt
-rw-r--r-- 1 terdon terdon 2942389 Jul 10 15:15 sorted-file.linux.txt

hexdump 揭示了！

$ hexdump -cn 32 file.txt 
0000000   a   d   h   d  \n   a   d   s   l  \n   a   m   v   b  \n   a
0000010   o   v  \n   a   o   w  \n   a   r   o   b  \n   a   s   f   a
0000020

$ hexdump -cn 32 my-sorted.txt 
0000000   a  \n   a   a  \n   a   a   a  \n   a   a   d  \n   a   a   d
0000010   s  \n   a   a   f   j   e  \n   a   a   f   j   e   s  \n   a
0000020 

$ hexdump -cn 32 sorted-file.txt 
0000000   a  \r  \n   a   a  \r  \n   a   a   a  \r  \n   a   a   d  \r
0000010  \n   a   a   d   s  \r  \n   a   a   f   j   e  \r  \n   a   a
0000020   

您排序的文件更大，因为它使用Windows行尾 \r\n（两个字节）而不是Linux行尾\n（一个字节）。

可能是您在Windows上使用任何一种工具（例如， cygwin Windows 10的新或？还是您可能在Wine中经营过一些？