Unix命令在两个文件中查找通用行

我敢肯定，我曾经找到一个unix命令，该命令可以从两个或更多文件中打印公共行，有人知道它的名字吗？它比容易得多diff。

您要查找的命令是comm。例如：-

comm -12 1.sorted.txt 2.sorted.txt

这里：

-1：取消第1列（1.sorted.txt特有的行）

-2：取消第2列（2.sorted.txt的唯一行）

要轻松地将comm命令应用于未排序的文件，请使用Bash的进程替换：

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

因此，文件abc和def具有共同的一行，即“ 132”。在未排序的文件上使用comm：

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

最后一行没有输出，没有发现公共行。

现在对已排序的文件使用comm，使用进程替换对文件进行排序：

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

现在我们有了132条线！

为了补充Perl单行代码，这里是它的awk等效内容：

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

这将从file1阵列中读取所有行arr[]，然后检查阵列中file2是否已存在每行（即file1）。找到的行将按照它们在中出现的顺序进行打印file2。请注意，比较in arr使用整行file2作为索引到数组，因此它将仅报告整行的完全匹配。

也许你的意思是comm？

逐行比较排序后的文件FILE1和FILE2。

如果没有选项，则产生三列输出。第一列包含FILE1独有的行，第二列包含FILE2独有的行，第三列包含两个文件共同的行。

查找这些信息的秘密是信息页面。对于GNU程序，它们比其手册页详细得多。试试看info coreutils，它将列出所有有用的小实用程序。

而

grep -v -f 1.txt 2.txt > 3.txt

为您提供两个文件的区别（2.txt中的内容而不是1.txt中的内容），您可以轻松地执行

grep -f 1.txt 2.txt > 3.txt

收集所有常见的行，这应该为您的问题提供简单的解决方案。如果您对文件进行了排序，则仍应采取措施comm。问候！

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

如果这两个文件尚未排序，则可以使用：

comm -12 <(sort a.txt) <(sort b.txt)

它将起作用，避免comm: file 2 is not in sorted order 这样做时出现错误消息comm -12 a.txt b.txt。

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

在受限版本的Linux上（例如我正在开发的QNAP（nas））：

• 通讯不存在
• grep -f file1 file2可能会导致某些问题，如@ChristopherSchultz所说，使用grep -F -f file1 file2速度真的很慢（超过5分钟-未完成-超过2-3秒使用下面的方法处理超过20MB的文件）

所以这就是我所做的：

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

如果files.same.sorted应该以与原始顺序相同的顺序，则以与file1相同的顺序添加此行：

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

或者，与file2相同的顺序：

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

仅供参考，如果有人仍在寻找如何对多个文件执行此操作，请参阅在多个文件中查找匹配行的链接答案。

结合这两个答案（ans1和ans2），我认为无需排序文件就可以得到所需的结果：

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

只需保存它，赋予它执行权限（chmod +x compareFiles.sh）并运行它。它将获取当前工作目录中存在的所有文件，并进行全对所有比较，结果保留在“ matching_lines”文件中。

有待改进的地方：

• 跳过目录
• 避免两次比较所有文件（file1 vs file2和file2 vs file1）。
• 也许在匹配字符串旁边添加行号

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

这应该做。