我有两个文件A-nodes_to_delete和B-nodes_to_keep。每个文件都有许多行，带有数字ID。

我想要包含nodes_to_delete但不包含的数字ID的列表nodes_to_keep，例如 。

在PostgreSQL数据库中执行此操作的速度过慢。使用Linux CLI工具在ba​​sh中进行操作的任何巧妙方法？

更新：这似乎是Python的工作，但是文件确实非常大。我已经解决了使用一些类似的问题uniq，sort一些集理论技术和。这比数据库等效文件快大约两个或三个数量级。

该通讯命令做到这一点。

几个月前，有人向我展示了如何做到这一点，然后我暂时找不到了……而我却偶然发现了您的问题。这里是 ：

set_union () {
   sort $1 $2 | uniq
}

set_difference () {
   sort $1 $2 $2 | uniq -u
}

set_symmetric_difference() {
   sort $1 $2 | uniq -u
}

采用 comm-它将逐行比较两个排序的文件。

您问题的简短答案

此命令将返回deleteNodes唯一的行，而不是keepNodes中的行。

comm -1 -3 <(sort keepNodes) <(sort deleteNodes)

设置示例

让我们创建名为keepNodes和的文件deleteNodes，并将其用作comm命令的未排序输入。

$ cat > keepNodes <(echo bob; echo amber;)
$ cat > deleteNodes <(echo bob; echo ann;)

默认情况下，运行不带参数的comm将使用以下布局打印3列：

lines_unique_to_FILE1
    lines_unique_to_FILE2
        lines_which_appear_in_both

使用上面的示例文件，运行不带参数的comm。请注意三列。

$ comm <(sort keepNodes) <(sort deleteNodes)
amber
    ann
        bob

抑制列输出

用-N抑制第1、2或3列；请注意，隐藏列时，空格会缩小。

$ comm -1 <(sort keepNodes) <(sort deleteNodes)
ann
    bob
$ comm -2 <(sort keepNodes) <(sort deleteNodes)
amber
    bob
$ comm -3 <(sort keepNodes) <(sort deleteNodes)
amber
    ann
$ comm -1 -3 <(sort keepNodes) <(sort deleteNodes)
ann
$ comm -2 -3 <(sort keepNodes) <(sort deleteNodes)
amber
$ comm -1 -2 <(sort keepNodes) <(sort deleteNodes)
bob

排序很重要！

如果执行comm而不先对文件进行排序，则它会优雅地失败，并显示一条消息，提示未对文件进行排序。

comm: file 1 is not in sorted order

comm 是专门为这种用例设计的，但是它需要分类的输入。

awk可以说是一个更好的工具，因为它很容易找到设置差异，不需要sort，并且提供了额外的灵活性。

awk 'NR == FNR { a[$0]; next } !($0 in a)' nodes_to_keep nodes_to_delete

例如，也许您只想发现代表非负数的行之间的差异：

awk -v r='^[0-9]+$' 'NR == FNR && $0 ~ r {
    a[$0]
    next
} $0 ~ r && !($0 in a)' nodes_to_keep nodes_to_delete

也许您需要在postgres中执行此操作的更好方法，我敢打赌您将找不到使用平面文件执行操作的更快方法。您应该能够做一个简单的内部联接，并假设两个id cols都被索引了，这应该非常快。

因此，这与其他答案略有不同。我不能说C ++编译器完全是“ Linux CLI工具”，但是运行g++ -O3 -march=native -o set_diff main.cpp（使用下面的代码main.cpp可以解决问题）：

#include<algorithm>
#include<iostream>
#include<iterator>
#include<fstream>
#include<string>
#include<unordered_set>

using namespace std;

int main(int argc, char** argv) {
    ifstream keep_file(argv[1]), del_file(argv[2]);
    unordered_multiset<string> init_lines{istream_iterator<string>(keep_file), istream_iterator<string>()};
    string line;
    while (getline(del_file, line)) {
        init_lines.erase(line);
    }
    copy(init_lines.begin(),init_lines.end(), ostream_iterator<string>(cout, "\n"));
}

要使用，只需运行set_diff B A（不是 A B，因为B是nodes_to_keep），结果差异将被打印到stdout。

请注意，为了让代码更简单，我放弃了一些C ++最佳实践。

可以进行许多其他速度优化（以增加内存为代价）。mmap对于大型数据集也将特别有用，但这会使代码更加复杂。

既然您提到数据集很大，所以我认为一次读取nodes_to_delete一行可能是减少内存消耗的好主意。如果您的代码中有很多重复项，则上面代码中采用的方法并不是特别有效nodes_to_delete。此外，不保留订单。

易于复制和粘贴的内容bash（即，跳过的创建main.cpp）：

g++ -O3 -march=native -xc++ -o set_diff - <<EOF
#include<algorithm>
#include<iostream>
#include<iterator>
#include<fstream>
#include<string>
#include<unordered_set>

using namespace std;

int main(int argc, char** argv) {
        ifstream keep_file(argv[1]), del_file(argv[2]);
        unordered_multiset<string> init_lines{istream_iterator<string>(keep_file), istream_iterator<string>()};
        string line;
        while (getline(del_file, line)) {
                init_lines.erase(line);
        }
        copy(init_lines.begin(),init_lines.end(), ostream_iterator<string>(cout, "\n"));
}
EOF