Questions tagged «utf-16»

12
UTF-8,UTF-16和UTF-32
UTF-8,UTF-16和UTF-32有什么区别? 我知道它们都将存储Unicode,并且每个都使用不同数量的字节来表示字符。选择一个而不是另一个有优势吗?
486 unicode  utf-8  utf-16  utf  utf-32 

9
什么是Unicode,UTF-8,UTF-16?
Unicode的基础是什么,为什么需要UTF-8或UTF-16?我已经在Google上对此进行了研究,并且也在此处进行了搜索,但我不清楚。 在VSS中进行文件比较时,有时会出现一条消息,指出两个文件具有不同的UTF。为什么会这样呢? 请简单说明。


8
我可以让git识别UTF-16文件为文本吗?
我正在git中跟踪Virtual PC虚拟机文件(* .vmc),进行更改后git将该文件标识为二进制文件,因此不会对我造成影响。我发现该文件使用UTF-16编码。 可以教git识别该文件是文本并适当处理吗? 我在Cygwin下使用git,将core.autocrlf设置为false。如有必要,我可以在UNIX下使用mSysGit或git。

5
UTF-8和UTF-16之间的区别?
UTF-8和UTF-16之间的区别?我们为什么需要这些? MessageDigest md = MessageDigest.getInstance("SHA-256"); String text = "This is some text"; md.update(text.getBytes("UTF-8")); // Change this to "UTF-16" if needed byte[] digest = md.digest();
137 java  unicode  utf-8  utf-16  utf 

6
在Python中将没有BOM的UTF-8转换为带有BOM的UTF-8
这里有两个问题。我有一组文件,这些文件通常是带有BOM的UTF-8。我想将它们(理想情况下)转换为没有BOM的UTF-8。似乎codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)可以解决这个问题。但是我真的看不到任何有关用法的好例子。这将是处理此问题的最佳方法吗? source files: Tue Jan 17$ file brh-m-157.json brh-m-157.json: UTF-8 Unicode (with BOM) text 同样,如果我们能够处理清楚知道的不同输入编码(看到的ASCII和UTF-16),那将是理想的。看来这一切都是可行的。是否有一种解决方案可以采用任何已知的Python编码并以UTF-8格式输出而无需BOM? 从下面编辑1个建议的sol'n(谢谢!) fp = open('brh-m-157.json','rw') s = fp.read() u = s.decode('utf-8-sig') s = u.encode('utf-8') print fp.encoding fp.write(s) 这给了我以下错误: IOError: [Errno 9] Bad file descriptor 新闻快讯 有人在评论中告诉我,错误是我以'rw'模式而不是'r +'/'r + b'模式打开文件,因此我最终应重新编辑问题并删除已解决的部分。

5
UTF-16的意义是什么?
我从不了解UTF-16编码的要点。如果您需要能够将字符串视为随机访问(即代码点与代码单元相同),则您需要UTF-32,因为UTF-16的长度仍然可变。如果您不需要它,那么与UTF-8相比,UTF-16似乎是对空间的巨大浪费。与UTF-8和UTF-32相比,UTF-16有何优势?为什么Windows和Java将其用作本机编码?

3
不建议使用的标头<codecvt>替换
有点前景:我的任务需要将UTF-8 XML文件转换为UTF-16(当然具有正确的标头)。因此,我搜索了将UTF-8转换为UTF-16的常用方法,发现应该使用中的模板&lt;codecvt&gt;。 但是,现在不赞成使用它,我想知道执行相同任务的新通用方法是什么? (完全不介意使用Boost,但除此之外,我更喜欢尽可能接近标准库。)
69 c++  utf-8  c++17  utf-16  codecvt 
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.