如何检测文件的编码？

在我的文件系统上（Windows 7），我有一些文本文件（如果需要的话，这些是SQL脚本文件）。

当使用Notepad ++打开时，在“编码”菜单中报告其中一些编码为“ UCS-2 Little Endian”，而某些编码为“ UTF-8不带BOM”。

这里有什么区别？它们似乎都是完全有效的脚本。没有Notepad ++的情况下，我如何分辨文件的编码？

文件通常使用文件头指示其编码。有许多例子在这里。但是，即使读取了标头，也无法确定文件实际使用的是哪种编码。

例如，对于前三个字节的文件0xEF,0xBB,0xBF是可能一个UTF-8编码的文件。但是，它可能是一个ISO-8859-1文件，碰巧以这些字符开头。或者它可能是完全不同的文件类型。

Notepad ++会尽力猜测文件正在使用哪种编码，以及在大多数情况下会正确进行编码。有时确实会出错，这就是为什么存在“编码”菜单的原因，因此您可以覆盖其最佳猜测。

对于两种编码，您提到：

• “ UCS-2 Little Endian”文件是UTF-16文件（根据我从此处的信息了解），因此可能以前0xFF,0xFE2个字节开头。据我所知，Notepad ++将它们描述为“ UCS-2”，因为它不支持UTF-16的某些方面。
• “没有BOM的UTF-8”文件没有任何头字节。这就是“没有BOM”的含义。

你不能。如果可以的话，那里不会有那么多带有“乱码”的网站或文本文件。这就是为什么编码通常与有效载荷一起作为元数据发送的原因。

如果不是这样，您所能做的就是“明智的猜测”，但结果往往是模棱两可的，因为相同的字节序列可能在几种编码中都有效。