iconv使用BOM生成UTF-16

受这个问题的启发，我可以使用该iconv命令生成具有BOM表和指定字节序的UTF-16输出吗？

该iconv命令将文本从一种编码转换为另一种编码。

例如：

echo hello | iconv -f ascii -t utf-16

生成的UTF-16表示形式"hello\n"。

UTF-16文件通常但不总是以字节顺序标记（BOM）开头，它是Unicode字符的2字节编码U+FEFF。您可以通过检查前两个字节是FE FF还是来确定带有BOM的UTF-16文件的字节序FF FE。

该iconv命令具有用于生成UTF-16输出的几个选项：

$ iconv --list | grep -i utf-16
UTF-16//
UTF-16BE//
UTF-16LE//

该命令：

echo hello | iconv -f ascii -t utf-16be

生成没有BOM的 big-endian UTF-16 ；似乎假设如果指定了字节序，则无需在输出中指出。同样，utf-16le生成不带BOM的小端序UTF-16。

这个：

echo hello | iconv -f ascii -t utf-16

生成（在我的x86 Ubuntu系统上）带有 BOM的小尾数UTF-16 －但是我已经看到了类似的命令的报告，即使在小尾数系统上也生成带有BOM的大尾数UTF-16。

我总是可以手动使用utf-16be或utf-16le在BOM表前面添加，但是我正在寻找仅使用iconv命令的解决方案。

如果您知道字节序会-t utf-16产生什么，则另一个解决方法是：

echo hello | iconv -f ascii -t utf-16 | dd conv=swab 2>/dev/null

我会喜欢到使用是一样的东西：

iconv -f ascii -t utf-16bebom # big-endian with BOM
iconv -f ascii -t utf-16lebom # little-endian with BOM

但iconv不支持。

编辑：

有权访问x86 Mac OSX系统的人可以发表评论，显示以下命令的（复制并粘贴）输出吗？

echo hello | iconv -f ascii -t utf-16 | od -x

否，如果您指定字节顺序，iconv则不会插入BOM。

这是来自Unicode联盟

问：我应该如何处理BOM？

答：以下是一些指导原则：

1. 特定协议（例如，Microsoft .txt文件约定）可能要求在某些Unicode数据流（例如文件）上使用BOM。当您需要遵循此类协议时，请使用BOM。
2. 对于未加标签的文本，某些协议允许使用可选的BOM。在那种情况下
   • 如果已知文本数据流是纯文本，但编码方式未知，则BOM可用作签名。如果没有BOM，则编码可以是任何形式。
   • 如果已知文本数据流是纯Unicode文本（而不是哪个字节序），则BOM可用作签名。如果没有BOM，则文本应解释为big-endian。
3. 某些面向字节的协议期望在文件开头使用ASCII字符。如果这些协议使用UTF-8，则应避免使用BOM作为编码形式签名。
4. 在已知数据流的确切类型的地方（例如Unicode大端或Unicode小端），不应使用BOM。特别是， 无论何时将数据流声明为UTF-16BE，UTF-16LE，UTF-32BE 或UTF-32LE，都不得使用BOM 。

（我的重点）

我希望iconv尝试忠实于这些指南中的最后一个。

更新。

题外话

在我看来：

1. 指定BOM的选项肯定是iconv有用的附加功能。

2. 没有BOM的UTF-16LE文件是可在Windows，尽管有时额外的努力。例如，记事本的“文件打开”对话框使您可以选择“ Unicode”，这是Microsoft的“ UTF-16LE”名称，并且（毫无疑问）似乎适用于没有BOM的文件。

3. 我可以用通常的方式在Windows记事本（XP）中打开UTF-16LE测试文件（不带BOM）或UTF-8测试文件（不带BOM），例如，在资源管理器中双击文件名。对我来说似乎可以使用。我知道有时Windows会错误地猜测编码-在这种情况下，您必须在打开文件时告诉记事本编码。这种不便之处在于，对于要在Windows上使用的文本文件，最好包含BOM。

4. 如果某个特定的应用程序不能与带有BOM的UTF-16LE文件一起使用，那么我同意没有BOM的UTF-16LE文件不适用于该特定应用程序。

5. 我怀疑，如果您可以使所有功能都使用UTF-8（无需BOM），从长远来看，那将是最佳的解决方案。

但是，问题“ 我可以使用iconv命令生成带有BOM且具有指定字节序的UTF-16输出 ”的答案当前为“ 否 ”。