需要比“ wc -l”更快的东西

对于1GB wc -l这样的大文件，它的运行速度很慢。我们是否有更快的方法来计算特定文件的换行数？

您可以尝试用C编写：

#include <unistd.h>
#include <stdio.h>
#include <string.h>
int main(){
  char buf[BUFSIZ];
  int nread;
  size_t nfound=0;
  while((nread=read(0, buf, BUFSIZ))>0){
    char const* p;
    for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}
  }
  if(nread<0) { perror("Error"); return 1; }
  printf("%lu\n", nfound);
  return 0;
}

保存在例如中wcl.c，使用编译gcc wcl.c -O2 -o wcl并使用

<yourFile ./wcl

这发现换行符大约在370ms内散布在我系统上的1GB文件中（重复运行）。（增加缓冲区大小会稍微增加时间，这是可以预期的-BUFSIZ应该接近最佳值）。这与我收到的约380ms相当wc -l。

Mmaping给了我大约280ms的更好的时间，但是它的局限性是仅限于实际文件（无FIFO，无终端输入等）：

#include <stdio.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>
int main(){
  struct stat sbuf;
  if(fstat(0, &sbuf)<0){ perror("Can't stat stdin"); return 1; }

  char* buf = mmap(NULL, sbuf.st_size, PROT_READ, MAP_PRIVATE, 0/*stdin*/, 0/*offset*/);
  if(buf == MAP_FAILED){ perror("Mmap error"); return 1; } 

  size_t nread = sbuf.st_size, nfound=0;
  char const* p;
  for(p=buf; p=memchr(p,'\n',nread-(p-buf)); nfound++,p++) {;}

  printf("%lu\n", nfound);
  return 0;
}

我使用以下命令创建了测试文件：

 $ dd if=/dev/zero of=file bs=1M count=1042 

并添加了一些测试换行符：

 $ echo >> 1GB 

和十六进制编辑器。

您可以通过减少对的调用次数来改进@pskocik建议的解决方案read。有很多调用来读取BUFSIZ1Gb文件中的块。通常的方法是通过增加缓冲区大小：

• 只是为了好玩，尝试将缓冲区大小增加10或100。在我的Debian 7上BUFSIZ是8192。对于原始程序，这是12万次读取操作。您可能可以提供1Mb的输入缓冲区，以将其减少100倍。
• 为了获得更好的方法，应用程序可以分配一个与文件一样大的缓冲区，需要进行一次读取操作。这对于“小”文件已经足够好了（尽管有些读者的计算机上容量超过1Gb）。
• 最后，您可以尝试使用内存映射的I / O，它可以这样处理分配。

在对各种方法进行基准测试时，您可能要记住，某些系统（例如Linux）将计算机上大部分未使用的内存用作磁盘缓存。前一段时间（大约在20年前，在vile FAQ中提到），我为一个（不是很好的）分页算法出乎意料的好结果而感到困惑，该算​​法已经开发出来，可以在文本编辑器中处理低内存条件。有人向我解释说，它运行得很快是因为程序正在使用用于读取文件的内存缓冲区工作，并且只有重新读取或写入文件时，速度才会有所不同。

同样适用于此mmap（在另一种仍在待办事项列表中并包含在FAQ中的情况下，开发人员在磁盘高速缓存是真正需要改进的情况下报告了很好的结果）。制定基准需要花费时间和精力来分析性能良好（或较差）的原因。

进一步阅读：

• 使用更大的缓冲区有用吗？
• mmap（）与阅读块
• mmap，munmap-将文件或设备映射或取消映射到内存中（显示示例程序）
• 13.7内存映射的I / O（GNU C库）
• 如何在Linux上清除磁盘I / O缓存
• 如何在Linux系统上清空缓冲区和缓存？