如何在Java中将字符串与UTF8字节数组之间来回转换


239

在Java中,我有一个String,我想将其编码为字节数组(采用UTF8或其他某种编码)。另外,我有一个字节数组(采用某种已知的编码),我想将其转换为Java String。我如何进行这些转换?

Answers:


355

从String转换为byte []:

String s = "some text here";
byte[] b = s.getBytes(StandardCharsets.UTF_8);

从byte []转换为String:

byte[] b = {(byte) 99, (byte)97, (byte)116};
String s = new String(b, StandardCharsets.US_ASCII);

当然,您应该使用正确的编码名称。我的示例使用了两种最常见的编码US-ASCII和UTF-8。


30
如今,US-ASCII实际上并不是一种非常普遍的编码。Windows-1252和ISO-8859-1(是ASCII的超集)更加广泛。
Michael Borgwardt

11
实际上,我发现它在我的工作中相当普遍。我经常读取字节流,这些字节流可能已保存为Windows-1252或ISO-8859-1,或者甚至只是作为“过去十年来我们所拥有的旧程序的输出”,但其中包含的字节保证是有效的US-ASCII字符。我也经常需要生成此类文件(用于可能无法处理非ASCII字符的代码使用。基本上,US-ASCII是许多软件的“最大公分母”。
mcherm

1
但是,此方法将不会报告转换中的任何问题。这可能就是您想要的。如果不是,建议改用CharsetEncoder。
Michael Piefel 2011年

7
@Pacerier,因为字符的文档将 “ UTF-8”列为标准字符集之一。我相信您的拼写也可以接受,但是我接受了文档中所说的内容。
mcherm 2012年

20
由于JDK7可以使用StandardCharsets.UTF_8 docs.oracle.com/javase/7/docs/api/java/nio/charset/...
拉斐尔Membrives

95

这是一种避免每次转换都执行Charset查找的解决方案:

import java.nio.charset.Charset;

private final Charset UTF8_CHARSET = Charset.forName("UTF-8");

String decodeUTF8(byte[] bytes) {
    return new String(bytes, UTF8_CHARSET);
}

byte[] encodeUTF8(String string) {
    return string.getBytes(UTF8_CHARSET);
}

4
@mcherm:即使性能差异很小,我还是尽可能使用对象(字符集,URL等)而不是它们的字符串形式。
Bart van Heukelom 2010年

7
注意:“自1.6开始”公共字符串(字节[]字节,字符集字符集)
2012年

1
关于“避免为每次转换执行Charset查找” ...请引用一些资料。是不是java.nio.charset.Charset中建在上面 String.getBytes,因此具有比String.getBytes更多的开销?
Pacerier

2
文档确实指出:“未指定无法在给定字符集中编码此字符串时此方法的行为。当需要对编码过程进行更多控制时,应使用CharsetEncoder类。”
paiego,

24
注意:从Java 1.7开始,您可以使用StandardCharsets.UTF_8恒定的方式访问UTF-8字符集。
2014年

17
String original = "hello world";
byte[] utf8Bytes = original.getBytes("UTF-8");

谢谢!我自己写下来,又增加了转换的另一个方向。
mcherm

1
@smink破折号不是可选的。这应该使用“ UTF-8”
Mel Nicholson

14

您可以直接通过String(byte [],String)构造函数和getBytes(String)方法进行转换。Java通过Charset类公开可用的字符集。JDK文档列出了支持的编码

90%的时间,此类转换是在流上执行的,因此您将使用Reader / Writer类。您不会在任意字节流上使用String方法来进行增量解码-您可能会遇到涉及多字节字符的错误。


你能详细说明吗?如果我的应用程序对中的字符串进行编码和解码UTF-8,那么关于多字节字符的关注点是什么?
拉菲安

@raffian如果不一次性转换所有字符数据,则可能会出现问题。请参阅此处的示例。
McDowell 2013年

12

我的tomcat7实现接受的字符串为ISO-8859-1;尽管HTTP请求的内容类型。当尝试正确解释'é'等字符时,以下解决方案对我有用。

byte[] b1 = szP1.getBytes("ISO-8859-1");
System.out.println(b1.toString());

String szUT8 = new String(b1, "UTF-8");
System.out.println(szUT8);

尝试将字符串解释为US-ASCII时,未正确解释字节信息。

b1 = szP1.getBytes("US-ASCII");
System.out.println(b1.toString());

8
仅供参考,从Java 7开始,您可以将常量用于这些字符集名称,例如StandardCharSets.UTF_8StandardCharSets.ISO_8859_1
罗勒·布尔克

节省了我的一天,为上述第一个解决方案工作得很好。
哈桑·贾米尔

7

或者,可以使用Apache Commons的StringUtils

 byte[] bytes = {(byte) 1};
 String convertedString = StringUtils.newStringUtf8(bytes);

要么

 String myString = "example";
 byte[] convertedBytes = StringUtils.getBytesUtf8(myString);

如果您具有非标准字符集,则可以相应地使用getBytesUnchecked()newString()


4
请注意,此StringUtils来自Commons Codec,而不是Commons Lang。
Arend诉Reinersdorff,

是的,有点陷阱!对于Gradle,Maven用户:“ commons-codec:commons-codec:1.10”(在撰写本文时)。例如,这也与Apache POI捆绑在一起作为依赖项。除了那个Apache Commons之外,一如既往!
麦克罗丹(Mike

2

为了将一系列字节解码为正常的字符串消息,我最终使它与使用以下代码的UTF-8编码一起工作:

/* Convert a list of UTF-8 numbers to a normal String
 * Usefull for decoding a jms message that is delivered as a sequence of bytes instead of plain text
 */
public String convertUtf8NumbersToString(String[] numbers){
    int length = numbers.length;
    byte[] data = new byte[length];

    for(int i = 0; i< length; i++){
        data[i] = Byte.parseByte(numbers[i]);
    }
    return new String(data, Charset.forName("UTF-8"));
}

1

如果您使用的是7位ASCII或ISO-8859-1(一种非常常见的格式),则根本不必创建新的java.lang.String。只需将字节转换为char即可获得更高的性能:

完整的工作示例:

for (byte b : new byte[] { 43, 45, (byte) 215, (byte) 247 }) {
    char c = (char) b;
    System.out.print(c);
}

如果您使用Ä,Æ,Å,Ç,Ï,Ê等扩展字符并且可以确保仅传输的值是前128个Unicode字符,则此代码也适用于UTF-8和扩展ASCII (如cp-1252)。


1

我无法发表评论,但不想启动新线程。但这是行不通的。一个简单的往返:

byte[] b = new byte[]{ 0, 0, 0, -127 };  // 0x00000081
String s = new String(b,StandardCharsets.UTF_8); // UTF8 = 0x0000, 0x0000,  0x0000, 0xfffd
b = s.getBytes(StandardCharsets.UTF_8); // [0, 0, 0, -17, -65, -67] 0x000000efbfbd != 0x00000081

在编码之前和之后,我需要b []相同的数组,而不是(此引用指向第一个答案)。


0
//query is your json   

 DefaultHttpClient httpClient = new DefaultHttpClient();
 HttpPost postRequest = new HttpPost("http://my.site/test/v1/product/search?qy=");

 StringEntity input = new StringEntity(query, "UTF-8");
 input.setContentType("application/json");
 postRequest.setEntity(input);   
 HttpResponse response=response = httpClient.execute(postRequest);

字符串实体将'query'转换为utf-8还是只是在附加该实体时记住?
SyntaxRules 2013年

0
Charset UTF8_CHARSET = Charset.forName("UTF-8");
String strISO = "{\"name\":\"א\"}";
System.out.println(strISO);
byte[] b = strISO.getBytes();
for (byte c: b) {
    System.out.print("[" + c + "]");
}
String str = new String(b, UTF8_CHARSET);
System.out.println(str);

0
Reader reader = new BufferedReader(
    new InputStreamReader(
        new ByteArrayInputStream(
            string.getBytes(StandardCharsets.UTF_8)), StandardCharsets.UTF_8));

-9

太晚了,但我刚遇到这个问题,这是我的解决办法:

private static String removeNonUtf8CompliantCharacters( final String inString ) {
    if (null == inString ) return null;
    byte[] byteArr = inString.getBytes();
    for ( int i=0; i < byteArr.length; i++ ) {
        byte ch= byteArr[i]; 
        // remove any characters outside the valid UTF-8 range as well as all control characters
        // except tabs and new lines
        if ( !( (ch > 31 && ch < 253 ) || ch == '\t' || ch == '\n' || ch == '\r') ) {
            byteArr[i]=' ';
        }
    }
    return new String( byteArr );
}

2
首先,这不是转换:它是删除不可打印的字节。其次,它假定底层操作系统的默认编码实际上基于可打印字符的ASCII(例如,不适用于使用EBCDIC的IBM Mainframes)。
艾萨克
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.