从大型文件中获取大量Grep模式

我有一个文件，每天增长约200,000行，并且全部由以下三行组成：

1358726575123       # key
    Joseph Muller   # name
    carpenter       # job
9973834728345
    Andres Smith
    student
7836472098652
    Mariah Anthony
    dentist

现在，我还有另一个文件，可以从中提取大约10,000个键模式，例如1358726575123。然后，我for使用这些模式运行循环，并且必须对照第一个文件检查它们。如果文件不包含这种模式，则将模式保存在第三个文件中以进行进一步处理：

for number in $(grep -o '[0-9]\{12\}' file2); do  # finds about 10.000 keys
     if ! grep -q ^$number$ file1; then           # file1 is a huge file
         printf "$number\n" >>file3               # we'll process file3 later
     fi
done

示例代码将一个巨大的文件捕获了10,000次，我整天大约每分钟运行一次此循环。

由于巨大的文件不断增长，我该怎么做才能更快地节省所有CPU？我想知道是否通过密钥对其进行排序（如果可以的话，如何进行排序）还是使用db而不是纯文本排序会有所帮助...

此答案基于potongawk发布的答案。对于主文件中相同的600万行和1万个键， 它的速度是方法（在我的系统上）的两倍...（现在已更新为使用FNR， NR）
comm

尽管awk它比当前系统快，并且将为您和您的计算机提供一些喘息的空间，但是请注意，当数据处理如您所描述的那样密集时，通过切换到专用数据库将获得最佳的总体效果；例如。SQlite，MySQL ...

awk '{ if (/^[^0-9]/) { next }              # Skip lines which do not hold key values
       if (FNR==NR) { main[$0]=1 }          # Process keys from file "mainfile"
       else if (main[$0]==0) { keys[$0]=1 } # Process keys from file "keys"
     } END { for(key in keys) print key }' \
       "mainfile" "keys" >"keys.not-in-main"

# For 6 million lines in "mainfile" and 10 thousand keys in "keys"

# The awk  method
# time:
#   real    0m14.495s
#   user    0m14.457s
#   sys     0m0.044s

# The comm  method
# time:
#   real    0m27.976s
#   user    0m28.046s
#   sys     0m0.104s

当然，问题是您在大文件上运行grep 10,000次。您应该只读取两个文件一次。如果您不想使用脚本语言，则可以通过以下方式进行操作：

1. 从文件1中提取所有数字并对其进行排序
2. 从文件2中提取所有数字并对它们进行排序
3. comm在已排序的列表上运行以获取仅第二个列表中的内容

像这样：

$ grep -o '^[0-9]\{12\}$' file1 | sort -u -o file1.sorted
$ grep -o  '[0-9]\{12\}'  file2 | sort -u -o file2.sorted
$ comm -13 file1.sorted file2.sorted > file3

请参阅man comm。

如果您可以每天截断大文件（例如日志文件），则可以保留已排序数字的缓存，而不必每次都将其完整解析。

是的，一定要使用数据库。它们正是针对此类任务而制作的。

这可能对您有用：

 awk '/^[0-9]/{a[$0]++}END{for(x in a)if(a[x]==1)print x}' file{1,2} >file3

编辑：

修改了脚本以允许两个文件中都有重复项和未知密钥，但仍然会从第一个文件中生成的密钥生成第二个文件中不存在的密钥：

 awk '/^[0-9]/{if(FNR==NR){a[$0]=1;next};if($0 in a){a[$0]=2}}END{for(x in a)if(a[x]==1)print x}' file{1,2} >file3

有了这么多数据，您实际上应该切换到数据库。同时，要取得接近良好性能的任何结果，您要做的一件事就是不要分别搜索file1每个键。运行一次即可一次grep提取所有未排除的键。由于那grep还会返回不包含键的行，因此将其过滤掉。

grep -o '[0-9]\{12\}' file2 |
grep -Fxv -f - file1 |
grep -vx '[0-9]\{12\}' >file3

（-Fx表示从字面上搜索整行。-f -表示从标准输入中读取模式列表。）

请允许我加强其他人所说的：“将您导入数据库！”

大多数平台都免费提供MySQL二进制文件。

为什么不使用SQLite？它基于内存，在启动时加载平面文件，然后在完成后将其关闭。这意味着，如果您的计算机崩溃或SQLite进程消失，那么所有数据也将消失。

您的问题看起来像只是几行SQL，并且将在几毫秒内运行！

安装完MySQL之后（我建议您选择其他方式），我将花40美元购买Anthony Molinaro的O'Reilly的SQL Cookbook，该书有很多问题模式，从简单的SELECT * FROM table查询开始，经过汇总和多次联接。

我不确定这是否是您要查找的确切输出，但是最简单的方法可能是：

grep -o '[0-9]\{12\}' file2 | sed 's/.*/^&$/' > /tmp/numpatterns.grep
grep -vf /tmp/numpatterns.grep file1 > file3
rm -f /tmp/numpatterns.grep

您还可以使用：

sed -ne '/.*\([0-9]\{12\}.*/^\1$/p' file2 > /tmp/numpatterns.grep
grep -vf /tmp/numpatterns.grep file1 > file3
rm -f /tmp/numpatterns.grep

每一个都创建一个临时模式文件，该文件用于从大文件（file1）中收集数字。

我完全同意您获得数据库（MySQL非常易于使用）。在开始运行之前，我喜欢Angus的comm解决方案，但是有很多人正在尝试grep并弄错了，以至于我认为我将展示（或至少一种）正确的解决方法grep。

grep -o '[0-9]\{12\}' keyfile | grep -v -f <(grep -o '^[0-9]\{12\}' bigfile) 

第一个grep获取密钥。第三个grep（中的<(...)）接受大文件中使用的所有键，<(...)并将其像文件一样传递给-f第二个grep中的参数。这导致第二个grep将其用作要匹配的行列表。然后，它使用它来匹配管道（第一个grep）中的输入（键列表），并打印从键文件而不是-v大文件中提取的所有键。

当然，您可以使用必须跟踪并记得删除的临时文件来执行此操作：

grep -o '[0-9]\{12\}'  keyfile >allkeys
grep -o '^[0-9]\{12\}' bigfile >usedkeys
grep -v -f usedkeys allkeys

这会打印出所有allkeys未出现在中的行usedkeys。

密钥文件不变吗？然后，您应该避免一次又一次搜索旧条目。

有了它，tail -f您可以获取正在增长的文件的输出。

tail -f growingfile | grep -f keyfile 

grep -f从文件中读取模式，一行作为模式。

不想发布我的答案，因为我认为不应使用shell脚本处理如此大量的数据，并且已经给出了使用数据库的正确答案。但是从现在起还有其他7种方法...

读取内存中的第一个文件，然后抓取第二个文件中的数字，并检查值是否存储在内存中。grep如果您有足够的内存来加载整个文件，那它应该比s 更快。

declare -a record
while read key
do
    read name
    read job
    record[$key]="$name:$job"
done < file1

for number in $(grep -o '[0-9]\{12\}' file2)
do
    [[ -n ${mylist[$number]} ]] || echo $number >> file3
done

我同意@ jan-steinman的观点，您应该将数据库用于此类任务。如其他答案所示，有很多方法可以将解决方案与shell脚本结合在一起，但是如果您要使用和维护代码的时间超过任何时间，那么这样做会导致很多痛苦。只是一个为期一天的一次性项目。

假设您在Linux机器上，则很可能默认情况下安装了Python，其中包括自Python v2.5起的sqlite3库。您可以使用以下方法检查Python版本：

% python -V
Python 2.7.2+

我建议使用sqlite3库，因为它是所有平台（包括Web浏览器内部！）都存在的基于文件的简单解决方案，并且不需要安装服务器。本质上是零配置和零维护。

下面是一个简单的python脚本，它将解析您作为示例给出的文件格式，然后执行一个简单的“全选”查询并输出存储在数据库中的所有内容。

#!/usr/bin/env python

import sqlite3
import sys

dbname = '/tmp/simple.db'
filename = '/tmp/input.txt'
with sqlite3.connect(dbname) as conn:
    conn.execute('''create table if not exists people (key integer primary key, name text, job text)''')
    with open(filename) as f:
        for key in f:
            key = key.strip()
            name = f.next().strip()
            job = f.next().strip()
            try:
                conn.execute('''insert into people values (?,?,?)''', (key, name, job))
            except sqlite3.IntegrityError:
                sys.stderr.write('record already exists: %s, %s, %s\n' % (key, name, job))
    cur = conn.cursor()

    # get all people
    cur.execute('''select * from people''')
    for row in cur:
        print row

    # get just two specific people
    person_list = [1358726575123, 9973834728345]
    cur.execute('''select * from people where key in (?,?)''', person_list)
    for row in cur:
        print row

    # a more general way to get however many people are in the list
    person_list = [1358726575123, 9973834728345]
    template = ','.join(['?'] * len(person_list))
    cur.execute('''select * from people where key in (%s)''' % (template), person_list)
    for row in cur:
        print row

是的，这意味着您需要学习一些SQL，但是从长远来看，这是值得的。另外，除了解析日志文件之外，您还可以将数据直接写入sqlite数据库。