用BOM搜索UTF-8文件的简便方法？

为了进行调试，我需要在目录中递归搜索所有以UTF-8字节顺序标记（BOM）开头的文件。我当前的解决方案是一个简单的shell脚本：

find -type f |
while read file
do
    if [ "`head -c 3 -- "$file"`" == $'\xef\xbb\xbf' ]
    then
        echo "found BOM in: $file"
    fi
done

或者，如果您希望使用简短的，难以理解的单线：

find -type f|while read file;do [ "`head -c3 -- "$file"`" == $'\xef\xbb\xbf' ] && echo "found BOM in: $file";done

它不适用于包含换行符的文件名，但是无论如何都不会出现此类文件。

有没有更短或更优雅的解决方案？

是否有任何有趣的文本编辑器或文本编辑器宏？

这个简单的命令不仅找到而且清除了讨厌的BOM，该怎么办？:)

find . -type f -exec sed '1s/^\xEF\xBB\xBF//' -i {} \;

我爱“发现” :)

警告以上内容将修改包含这三个字符的二进制文件。

如果只想显示BOM表文件，请使用以下文件：

grep -rl $'\xEF\xBB\xBF' .

在Windows上执行此操作的最佳和最简单的方法：

Total Commander →转到项目的根目录→查找文件（Alt+F7）→文件类型*。*→查找文本“ EF BB BF”→选中“十六进制”复选框→搜索

你会得到列表:)

find . -type f -print0 | xargs -0r awk '
    /^\xEF\xBB\xBF/ {print FILENAME}
    {nextfile}'

上面给出的大多数解决方案都对文件的第一行进行了更多的测试，即使某些结果（例如Marcus的解决方案）随后对结果进行了过滤。该解决方案仅测试每个文件的第一行，因此应该更快一些。

如果您接受一些误报（如果有非文本文件，或者在不太可能的情况下文件中间有ZWNBSP），则可以使用grep：

fgrep -rl `echo -ne '\xef\xbb\xbf'` .

我会用类似的东西：

grep -orHbm1 "^`echo -ne '\xef\xbb\xbf'`" . | sed '/:0:/!d;s/:0:.*//'

这将确保BOM从文件的第一个字节开始。

您可以使用grep它们来查找它们，而Perl 可以将它们去除，如下所示：

grep -rl $'\xEF\xBB\xBF' . | xargs perl -i -pe 's{\xEF\xBB\xBF}{}'

对于Windows用户，请参阅此文件（BOM在项目中找到的良好PHP脚本）。

一个过分的解决方案是phptags（不是vi具有相同名称的工具），它专门用于查找PHP脚本：

phptags --warn ./

将输出类似：

./invalid.php: TRAILING whitespace ("?>\n")
./invalid.php: UTF-8 BOM alone ("\xEF\xBB\xBF")

并且该--whitespace模式将自动解决此类问题（递归地，但是断言它仅重写.php脚本。）

find -type f -print0 | xargs -0 grep -l `printf '^\xef\xbb\xbf'` | sed 's/^/found BOM in: /'

• find -print0 在每个文件名之间放置一个空\ 0而不是使用新行
• xargs -0 需要空分隔的参数，而不是行分隔的参数
• grep -l 列出与正则表达式匹配的文件
• 正则表达式^\xeff\xbb\xbf并不完全正确，因为如果非BOM格式的UTF-8文件在行首的宽度为零，它将与之匹配

我用它来更正JavaScript文件：

find . -iname *.js -type f -exec sed 's/^\xEF\xBB\xBF//' -i.bak {} \; -exec rm {}.bak \;

如果要查找UTF文件，则使用file命令。它会告诉您文件的编码是什么。如果其中有任何非ASCII字符，它将带有UTF。

file *.php | grep UTF

但这不会递归地起作用。您可能可以装配一些花哨的命令以使其递归，但是我只是像下面这样逐个搜索每个级别，直到用尽所有级别。

file */*.php | grep UTF