如何查找内容中包含100％NUL字符的文件？

可以识别此类文件的Linux命令行命令是什么？

AFAIK该find命令（或grep）只能匹配文本文件中的特定字符串。但是我想匹配所有内容，即我想查看哪些文件匹配正则表达式\0+，而忽略行尾字符。也许这个find . cat | grep成语可能有效，但是我不知道如何使grep忽略行（并将文件视为二进制文件）。

背景：每隔几天，当我的笔记本电脑死机时，我的btrfs分区就会丢失信息：为写入而打开的文件将其内容替换为零（文件大小或多或少保持不变）。我使用同步，并且我不想传播这些假文件：我需要一种识别它们的方法，以便可以从备份中获取它们。

您可以grep使用Perl regex模式输入␀个字符：

$ echo -ne "\0\0" > nul.bin
$ echo -ne "\0x\0" > non-nul.bin
$ grep -P "[^\0]" *.bin
Binary file non-nul.bin matches

因此，您可以使用以下代码：

for path in *.foo
do
    grep -P "[^\0]" "$path" || echo "$path"
done

我同意D_Bye关于找到问题根源的说法。

无论如何要检查文件是否仅包含\0和/或\n可以使用tr：

<file tr -d '\0\n' | wc -c

空/换行符和空文件返回0。

我怀疑这些文件是稀疏的，即它们没有分配任何磁盘空间，它们只是指定文件大小（du将报告0）。

在这种情况下，可以使用GNU find（假设没有文件路径包含换行符）：

find . -type f -size +0 -printf '%b:%p\n' | grep '^0:' | cut -d: -f2-

这是一个可以执行此操作的小型python程序：

import sys

def only_contains_nulls(fobj, chunk_size=1024):
    first = True
    while True:
        data = fobj.read(chunk_size)
        if not data:
            if first:
                return 1  # No data
            else:
                return 0
        if data.strip("\0"):
            return 1
        first = False

if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        sys.exit(only_contains_nulls(f))

并采取行动：

$ printf '\0\0\0' > file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Only nulls
$ printf a >> file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Non-null characters

您可以通过使用发现的检查多个文件-exec，xargs，GNU parallel，以及类似的方案。或者，这将打印需要处理的文件名：

files=( file1 file2 )
for file in "${files[@]}"; do
    ./onlynulls "$file" || printf '%s\n' "$file"
done

请记住，如果要将其输出传递给另一个程序，文件名可以包含换行符，因此您应该以不同的方式来分隔它（适当地使用来定界\0）。

如果您有很多文件，则最好使用一个选项进行并行处理，因为这一次只能读取一个文件。

查找仅包含空字符“ \ 0”和换行符“ \ n”的文件。
将q在sed的原因每个文件搜索，立即退出时在一条线上找到任何的非空字符。

find -type f -name 'file-*' |
  while IFS= read -r file ;do 
      out=$(sed -n '1=; /^\x00\+$/d; i non-null
                      ; q' "$file")
      [[ $out == "1" ]] &&  echo "$file"
  done

制作测试文件

> file-empty
printf '%s\n' 'line1' 'line2' 'line3'      > file-with-text           
printf '%4s\n' '' '' xx | sed 's/ /\x00/g' > file-with-text-and-nulls
printf '%4s\n' '' '' '' | sed 's/ /\x00/g' > file-with-nulls-and-newlines
printf '%4s'   '' '' '' | sed 's/ /\x00/g' > file-with-nulls-only

输出

./file-with-nulls-and-newlines
./file-with-nulls-only

这一个班轮是使用GNU找到100％NUL文件的最有效的方式find，xargs和grep（假设后者是建立与PCRE支持）：

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -r0 grep -LP "[^\x00]" --

与其他提供的答案相比，此方法的优点是：

• 非稀疏文件包含在搜索中。
• 不可读的文件不会传递给grep，从而避免出现Permission denied警告。
• grep找到任何非null字节后将停止从文件中读取数据（LC_ALL=C用于确保每个字节都被解释为字符）。
• 空文件（零字节）不包括在结果中。
• 较少的grep进程可以有效地检查多个文件。
• 包含换行符或开头的路径 -已正确处理。
• 适用于大多数缺少Python / Perl的嵌入式系统。

将-Z选项传递给grep和使用xargs -r0 ...允许对100％nul文件执行进一步的操作（例如：清理）：

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -0 grep -ZLP "[^\x00]" -- |
  xargs -r0 rm --

我还建议使用find选项-P以避免遵循符号链接，并且-xdev避免遍历文件系统（例如：远程挂载，设备树，绑定挂载等）。

为了忽略行尾字符，应使用以下变体（尽管我认为这不是一个好主意）：

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -r0 grep -LP "[^\x00\r\n]" --

将所有内容放在一起，包括删除不需要的文件（100％nul /换行符）以防止对其进行备份：

find -P . -xdev -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -0 grep -ZLP "[^\x00\r\n]" -- |
  xargs -0 rm --

我不建议包含空文件（零字节），它们通常出于非常 特定的 目的而存在。

对于使用GNU sed，您可以使用-z选项，该选项将一行定义为零终止的字符串，并匹配和删除空行，如下所示：

if [ "$( sed -z '/^$/d' "$file" | head -c 1 | wc -c )" -eq 0 ]; then
    echo "$file contains only NULL!"
fi

中间的head命令只是一个优化。

蟒蛇

单文件

定义别名：

alias is_binary="python -c 'import sys; sys.exit(not b\"\x00\" in open(sys.argv[1], \"rb\").read())'"

测试一下：

$ is_binary /etc/hosts; echo $?
1
$ is_binary `which which`; echo $?
0

多个文件

递归查找所有二进制文件：

IS_BINARY='import sys; sys.exit(not b"\x00" in open(sys.argv[1], "rb").read())'
find . -type f -exec bash -c "python -c '$IS_BINARY' {} && echo {}" \;

要查找所有非二进制文件，更改&&与||。