Questions tagged «utf-16»

UTF-8，UTF-16和UTF-32有什么区别？ 我知道它们都将存储Unicode，并且每个都使用不同数量的字节来表示字符。选择一个而不是另一个有优势吗？

486 unicode  utf-8  utf-16  utf  utf-32 

Unicode的基础是什么，为什么需要UTF-8或UTF-16？我已经在Google上对此进行了研究，并且也在此处进行了搜索，但我不清楚。 在VSS中进行文件比较时，有时会出现一条消息，指出两个文件具有不同的UTF。为什么会这样呢？ 请简单说明。

395 unicode  encoding  utf-8  utf-16 

我正在阅读的文档StringBuffer，尤其是reverse（）方法。该文档提到了有关代理对的内容。在这种情况下什么是代理对？什么是低和高的代理人？

149 java  unicode  utf-16  surrogate-pairs 

我正在git中跟踪Virtual PC虚拟机文件（* .vmc），进行更改后git将该文件标识为二进制文件，因此不会对我造成影响。我发现该文件使用UTF-16编码。 可以教git识别该文件是文本并适当处理吗？ 我在Cygwin下使用git，将core.autocrlf设置为false。如有必要，我可以在UNIX下使用mSysGit或git。

140 git  unicode  character-encoding  diff  utf-16 

UTF-8和UTF-16之间的区别？我们为什么需要这些？ MessageDigest md = MessageDigest.getInstance("SHA-256"); String text = "This is some text"; md.update(text.getBytes("UTF-8")); // Change this to "UTF-16" if needed byte[] digest = md.digest();

137 java  unicode  utf-8  utf-16  utf 

这里有两个问题。我有一组文件，这些文件通常是带有BOM的UTF-8。我想将它们（理想情况下）转换为没有BOM的UTF-8。似乎codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)可以解决这个问题。但是我真的看不到任何有关用法的好例子。这将是处理此问题的最佳方法吗？ source files: Tue Jan 17$ file brh-m-157.json brh-m-157.json: UTF-8 Unicode (with BOM) text 同样，如果我们能够处理清楚知道的不同输入编码（看到的ASCII和UTF-16），那将是理想的。看来这一切都是可行的。是否有一种解决方案可以采用任何已知的Python编码并以UTF-8格式输出而无需BOM？ 从下面编辑1个建议的sol'n（谢谢！） fp = open('brh-m-157.json','rw') s = fp.read() u = s.decode('utf-8-sig') s = u.encode('utf-8') print fp.encoding fp.write(s) 这给了我以下错误： IOError: [Errno 9] Bad file descriptor 新闻快讯 有人在评论中告诉我，错误是我以'rw'模式而不是'r +'/'r + b'模式打开文件，因此我最终应重新编辑问题并删除已解决的部分。

81 python  utf-8  utf-16  byte-order-mark 

我从不了解UTF-16编码的要点。如果您需要能够将字符串视为随机访问（即代码点与代码单元相同），则您需要UTF-32，因为UTF-16的长度仍然可变。如果您不需要它，那么与UTF-8相比，UTF-16似乎是对空间的巨大浪费。与UTF-8和UTF-32相比，UTF-16有何优势？为什么Windows和Java将其用作本机编码？

72 utf-8  character-encoding  utf-16  utf  utf-32 

有点前景：我的任务需要将UTF-8 XML文件转换为UTF-16（当然具有正确的标头）。因此，我搜索了将UTF-8转换为UTF-16的常用方法，发现应该使用中的模板<codecvt>。 但是，现在不赞成使用它，我想知道执行相同任务的新通用方法是什么？ （完全不介意使用Boost，但除此之外，我更喜欢尽可能接近标准库。）

69 c++  utf-8  c++17  utf-16  codecvt