如何从UTF-8文件中删除BOM？

我有一个带有BOM的UTF-8编码文件，并且想要删除BOM。是否有任何Linux命令行工具可从文件中删除BOM？

$ file test.xml
test.xml:  XML 1.0 document, UTF-8 Unicode (with BOM) text, with very long lines

如果不确定文件是否包含UTF-8 BOM，则此操作（假设使用GNU实现sed）将删除BOM（如果存在），否则将不进行任何更改。

sed '1s/^\xEF\xBB\xBF//' < orig.txt > new.txt

您还可以使用以下-i选项覆盖现有文件：

sed -i '1s/^\xEF\xBB\xBF//' orig.txt

在UTF-8中，BOM没有意义。这些通常是由Microsoft操作系统上的虚假软件错误地添加的。

dos2unix 会删除它，并注意Windows文本文件的其他特性。

dos2unix test.xml

可以使用以下tail命令从文件中删除BOM ：

tail -c +4 withBOM.txt > withoutBOM.txt

使用VIM

1. 在VIM中打开文件：

   vi text.xml
   

2. 删除BOM编码：

   :set nobomb
   

3. 保存并退出：

   :wq
   

您可以使用

LANG=C LC_ALL=C sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- filename

从文件的开头删除字节顺序标记（如果有的话），以及将任何CR LF换行符仅转换为LF。该LANG=C LC_ALL=C命令告诉外壳程序您希望命令在默认C语言环境（也称为默认POSIX语言环境）中运行，在该语言环境中，构成字节顺序标记的三个字节被视为字节。在-i对sed的选项意味着原地。如果使用-i.old，则sed将原始文件另存为filename.old，将新文件（如果有修改，另存为）另存为filename。

我个人喜欢这样~/bin/fix-ms; 例如，作为

#!/bin/dash
export LANG=C LC_ALL=C
if [ $# -gt 0 ]; then
    for FILE in "$@" ; do
        sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- "$FILE" || exit 1
    done
else
    exec sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//'
fi

因此，如果我需要使用它来说明所有C源文件和标头（例如，我的MS-DOS时代的旧代码！），我只需运行

find . -name '*.[CHch]' -print0 | xargs -r0 ~/bin/ms-fix

或者，如果我只想查看这样的文件，而无需修改它，则可以运行

~/bin/ms-fix < filename | less

<U+FEFF>在我的UTF-8终端上看不到丑陋的东西。

最近，我发现了这个小巧的命令行工具，该工具可在任意UTF-8编码文件上添加或删除BOM：UTF BOM Utils（github上的新链接）

几乎没有什么缺点，您只能下载纯C ++源代码。您必须创建makefile（例如，使用CMake）并自己进行编译，此页面上未提供二进制文件。