如何grep包含一些二进制数据的文本文件？

grep返回

二进制文件test.log匹配

例如

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

我希望结果将显示line1和line3（总共两行）。

是否可以使用tr将无法打印的数据转换为可读数据，以使grep再次工作？

您可以通过来运行数据文件cat -v，例如

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

然后可以进一步进行后期处理以去除垃圾；这最类似于您关于tr用于任务的查询。

grep -a

没有比这更简单的了。

一种方法是无论如何都将二进制文件简单地视为文本，grep --text但这很可能导致二进制信息被发送到您的终端。如果您正在运行一个解释输出流的终端（例如VT / DEC或许多其他终端），那并不是一个好主意。

或者，您可以tr使用以下命令发送文件：

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

这会将小于空格字符（换行符除外）和大于126的所有内容更改为.字符，仅保留可打印内容。

如果您希望将每个“非法”字符替换为一个不同的字符，则可以使用以下C程序（一种经典的标准输入过滤器）：

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

这将为您提供{{NN}}，NN字符的十六进制代码在哪里。您可以简单地调整printf所需的任何输出样式进行。

您可以在此处看到该程序的运行情况：

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

您可以使用“字符串”从二进制文件中提取字符串，例如

strings binary.file | grep foo

您可以使用以下命令强制grep查看二进制文件：

grep --binary-files=text

您可能还想添加-o（--only-matching），以免浪费大量的二进制垃圾，这些垃圾会使您的终端机瘫痪。

从Grep 2.21开始，二进制文件的处理方式有所不同：

搜索二进制数据时，grep现在可以将非文本字节视为行终止符。这可以显着提高性能。

所以现在发生的是，对于二进制数据，所有非文本字节（包括换行符）都被视为行终止符。如果要更改此行为，可以：

• 使用--text。这将确保只有换行符才是行终止符

• 使用--null-data。这将确保只有空字节是行终止符

grep -a将强制grep从grep认为是二进制的文件中搜索和输出。grep -a re test.log

就像詹姆斯·塞尔瓦库玛（James Selvakumar）所说的grep -a那样。-a或--text强制Grep将输入流作为文本处理。参见手册页http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

尝试

cat test.log | grep -a somestring

你可以做

strings test.log | grep -i

这会将give输出作为可读字符串转换为grep。

您也可以尝试使用Word Extractor工具。Word Extractor可以与计算机中的任何文件一起使用，以将包含人类文本/单词的字符串与二进制代码（exe应用程序，DLL）分开。

这是我在未安装“字符串”命令的系统中使用的命令

cat yourfilename | tr -cd "[:print:]"

一键打印即可打印文本并删除无法打印的字符，这与“ cat -v filename”不同，后者需要进行一些后处理才能删除不需要的内容。请注意，某些二进制数据可能是可打印的，因此您仍然会在这些好东西之间得到一些混乱。我认为如果您可以使用字符串，也可以消除这种混乱。