如何将字节数组转换为十六进制字符串,反之亦然?


1371

如何将字节数组转换为十六进制字符串,反之亦然?


8
下面的可接受答案似乎为字符串到字节的转换分配了大量的字符串。我想知道这对性能有何影响
Wim Coenen

9
SoapHexBinary类完全符合您的想法。
Mykroft 2010年

在我看来,在1个帖子中问2个问题不是很标准。
桑德洛克(SandRock)

Answers:


1353

要么:

public static string ByteArrayToString(byte[] ba)
{
  StringBuilder hex = new StringBuilder(ba.Length * 2);
  foreach (byte b in ba)
    hex.AppendFormat("{0:x2}", b);
  return hex.ToString();
}

要么:

public static string ByteArrayToString(byte[] ba)
{
  return BitConverter.ToString(ba).Replace("-","");
}

例如,这里还有更多的变体。

反向转换将如下所示:

public static byte[] StringToByteArray(String hex)
{
  int NumberChars = hex.Length;
  byte[] bytes = new byte[NumberChars / 2];
  for (int i = 0; i < NumberChars; i += 2)
    bytes[i / 2] = Convert.ToByte(hex.Substring(i, 2), 16);
  return bytes;
}

Substring与结合使用是最佳选择Convert.ToByte。有关更多信息,请参见此答案。如果需要更好的性能,则必须先避免Convert.ToByte后再放下SubString


24
您正在使用SubString。这个循环是否分配了大量的字符串对象?
Wim Coenen

30
老实说-除非它显着降低性能,否则我将倾向于忽略这一点,并相信运行时和GC会照顾好它。
Tomalak

87
因为一个字节是两个半字节,所以任何有效表示一个字节数组的十六进制字符串都必须具有偶数个字符。不应在任何地方添加0 -要添加1就是假设可能存在危险的无效数据。如果有的话,如果十六进制字符串包含奇数个字符,则StringToByteArray方法应引发FormatException。
David Boike 2010年

7
@ 00jt您必须假设F == 0F。它要么与0F相同,要么输入被裁剪,而F实际上是您尚未收到的内容的开始。做出这些假设取决于您的情况,但是我认为通用函数应拒绝将奇数字符视为无效字符,而不是对调用代码进行该假设。
David Boike 2013年

11
@DavidBoike这个问题与“如何处理可能裁剪的流值”无关,它是关于字符串的。字符串myValue = 10.ToString(“ X”); myValue是“ A”而不是“ 0A”。现在,将字符串重新读回字节,哎呀,您把它弄坏了。
2013年

488

绩效分析

注意:截至2015年8月20日的新领导者。

我通过粗略地运行了各种转换方法 Stopwatch性能测试运行,使用随机语句运行(n = 61,1000次迭代),使用Project Gutenburg文本运行(n = 1,238,957,150次迭代)。结果如下,大致从最快到最慢。所有测量值均以滴答声(10,000 ticks = 1 ms)为单位,并将所有相关注释与[最慢] StringBuilder实现方式进行比较。有关使用的代码,请参见下文或测试框架库,我现在在其中维护用于运行该代码的代码。

免责声明

警告:不要依赖这些统计信息来获取任何具体信息;它们只是样本数据的样本运行。如果您确实需要一流的性能,请在代表您的生产需求的环境中测试这些方法,并使用代表您将要使用的数据。

结果

查找表已领先于字节操作。基本上,有某种形式的预计算什么给定的半字节或字节。然后,当您翻阅数据时,您只需查找下一部分即可看到它是十六进制字符串。然后将该值以某种方式添加到结果字符串输出中。长期以来,性能最佳的方法是字节操作,某些开发人员可能更难以阅读。

您最好的选择仍然是找到一些具有代表性的数据,然后在类似于生产的环境中进行尝试。如果您有不同的内存限制,则您可能更喜欢分配较少的方法,而不是分配更快但消耗更多内存的方法。

测试代码

随意使用我使用的测试代码。这里包含一个版本,但是可以随时克隆仓库并添加自己的方法。如果您发现任何有趣的东西或想要帮助改进它使用的测试框架,请提交请求请求。

  1. 添加新的静态方法(Func<byte[], string>)到/Tests/ConvertByteArrayToHexString/Test.cs。
  2. 将该方法的名称添加到 TestCandidates同一类返回值中。
  3. 通过切换注释来确保您正在运行所需的输入版本,句子或文本 GenerateTestInput同一类中。
  4. 点击F5并等待输出(/ bin文件夹中还将生成HTML转储)。
static string ByteArrayToHexStringViaStringJoinArrayConvertAll(byte[] bytes) {
    return string.Join(string.Empty, Array.ConvertAll(bytes, b => b.ToString("X2")));
}
static string ByteArrayToHexStringViaStringConcatArrayConvertAll(byte[] bytes) {
    return string.Concat(Array.ConvertAll(bytes, b => b.ToString("X2")));
}
static string ByteArrayToHexStringViaBitConverter(byte[] bytes) {
    string hex = BitConverter.ToString(bytes);
    return hex.Replace("-", "");
}
static string ByteArrayToHexStringViaStringBuilderAggregateByteToString(byte[] bytes) {
    return bytes.Aggregate(new StringBuilder(bytes.Length * 2), (sb, b) => sb.Append(b.ToString("X2"))).ToString();
}
static string ByteArrayToHexStringViaStringBuilderForEachByteToString(byte[] bytes) {
    StringBuilder hex = new StringBuilder(bytes.Length * 2);
    foreach (byte b in bytes)
        hex.Append(b.ToString("X2"));
    return hex.ToString();
}
static string ByteArrayToHexStringViaStringBuilderAggregateAppendFormat(byte[] bytes) {
    return bytes.Aggregate(new StringBuilder(bytes.Length * 2), (sb, b) => sb.AppendFormat("{0:X2}", b)).ToString();
}
static string ByteArrayToHexStringViaStringBuilderForEachAppendFormat(byte[] bytes) {
    StringBuilder hex = new StringBuilder(bytes.Length * 2);
    foreach (byte b in bytes)
        hex.AppendFormat("{0:X2}", b);
    return hex.ToString();
}
static string ByteArrayToHexViaByteManipulation(byte[] bytes) {
    char[] c = new char[bytes.Length * 2];
    byte b;
    for (int i = 0; i < bytes.Length; i++) {
        b = ((byte)(bytes[i] >> 4));
        c[i * 2] = (char)(b > 9 ? b + 0x37 : b + 0x30);
        b = ((byte)(bytes[i] & 0xF));
        c[i * 2 + 1] = (char)(b > 9 ? b + 0x37 : b + 0x30);
    }
    return new string(c);
}
static string ByteArrayToHexViaByteManipulation2(byte[] bytes) {
    char[] c = new char[bytes.Length * 2];
    int b;
    for (int i = 0; i < bytes.Length; i++) {
        b = bytes[i] >> 4;
        c[i * 2] = (char)(55 + b + (((b - 10) >> 31) & -7));
        b = bytes[i] & 0xF;
        c[i * 2 + 1] = (char)(55 + b + (((b - 10) >> 31) & -7));
    }
    return new string(c);
}
static string ByteArrayToHexViaSoapHexBinary(byte[] bytes) {
    SoapHexBinary soapHexBinary = new SoapHexBinary(bytes);
    return soapHexBinary.ToString();
}
static string ByteArrayToHexViaLookupAndShift(byte[] bytes) {
    StringBuilder result = new StringBuilder(bytes.Length * 2);
    string hexAlphabet = "0123456789ABCDEF";
    foreach (byte b in bytes) {
        result.Append(hexAlphabet[(int)(b >> 4)]);
        result.Append(hexAlphabet[(int)(b & 0xF)]);
    }
    return result.ToString();
}
static readonly uint* _lookup32UnsafeP = (uint*)GCHandle.Alloc(_Lookup32, GCHandleType.Pinned).AddrOfPinnedObject();
static string ByteArrayToHexViaLookup32UnsafeDirect(byte[] bytes) {
    var lookupP = _lookup32UnsafeP;
    var result = new string((char)0, bytes.Length * 2);
    fixed (byte* bytesP = bytes)
    fixed (char* resultP = result) {
        uint* resultP2 = (uint*)resultP;
        for (int i = 0; i < bytes.Length; i++) {
            resultP2[i] = lookupP[bytesP[i]];
        }
    }
    return result;
}
static uint[] _Lookup32 = Enumerable.Range(0, 255).Select(i => {
    string s = i.ToString("X2");
    return ((uint)s[0]) + ((uint)s[1] << 16);
}).ToArray();
static string ByteArrayToHexViaLookupPerByte(byte[] bytes) {
    var result = new char[bytes.Length * 2];
    for (int i = 0; i < bytes.Length; i++)
    {
        var val = _Lookup32[bytes[i]];
        result[2*i] = (char)val;
        result[2*i + 1] = (char) (val >> 16);
    }
    return new string(result);
}
static string ByteArrayToHexViaLookup(byte[] bytes) {
    string[] hexStringTable = new string[] {
        "00", "01", "02", "03", "04", "05", "06", "07", "08", "09", "0A", "0B", "0C", "0D", "0E", "0F",
        "10", "11", "12", "13", "14", "15", "16", "17", "18", "19", "1A", "1B", "1C", "1D", "1E", "1F",
        "20", "21", "22", "23", "24", "25", "26", "27", "28", "29", "2A", "2B", "2C", "2D", "2E", "2F",
        "30", "31", "32", "33", "34", "35", "36", "37", "38", "39", "3A", "3B", "3C", "3D", "3E", "3F",
        "40", "41", "42", "43", "44", "45", "46", "47", "48", "49", "4A", "4B", "4C", "4D", "4E", "4F",
        "50", "51", "52", "53", "54", "55", "56", "57", "58", "59", "5A", "5B", "5C", "5D", "5E", "5F",
        "60", "61", "62", "63", "64", "65", "66", "67", "68", "69", "6A", "6B", "6C", "6D", "6E", "6F",
        "70", "71", "72", "73", "74", "75", "76", "77", "78", "79", "7A", "7B", "7C", "7D", "7E", "7F",
        "80", "81", "82", "83", "84", "85", "86", "87", "88", "89", "8A", "8B", "8C", "8D", "8E", "8F",
        "90", "91", "92", "93", "94", "95", "96", "97", "98", "99", "9A", "9B", "9C", "9D", "9E", "9F",
        "A0", "A1", "A2", "A3", "A4", "A5", "A6", "A7", "A8", "A9", "AA", "AB", "AC", "AD", "AE", "AF",
        "B0", "B1", "B2", "B3", "B4", "B5", "B6", "B7", "B8", "B9", "BA", "BB", "BC", "BD", "BE", "BF",
        "C0", "C1", "C2", "C3", "C4", "C5", "C6", "C7", "C8", "C9", "CA", "CB", "CC", "CD", "CE", "CF",
        "D0", "D1", "D2", "D3", "D4", "D5", "D6", "D7", "D8", "D9", "DA", "DB", "DC", "DD", "DE", "DF",
        "E0", "E1", "E2", "E3", "E4", "E5", "E6", "E7", "E8", "E9", "EA", "EB", "EC", "ED", "EE", "EF",
        "F0", "F1", "F2", "F3", "F4", "F5", "F6", "F7", "F8", "F9", "FA", "FB", "FC", "FD", "FE", "FF",
    };
    StringBuilder result = new StringBuilder(bytes.Length * 2);
    foreach (byte b in bytes) {
        result.Append(hexStringTable[b]);
    }
    return result.ToString();
}

更新(2010-01-13)

在分析中添加了Waleed的答案。蛮快。

更新(2011-10-05)

添加string.Concat Array.ConvertAll了完整版本(需要.NET 4.0)。与...相当string.Join版本。

更新(2012-02-05)

测试仓库包含更多变体,例如StringBuilder.Append(b.ToString("X2"))。没有人会破坏结果。例如,foreach速度比快{IEnumerable}.Aggregate,但BitConverter仍然获胜。

更新(2012-04-03)

SoapHexBinary在分析中添加了Mykroft的答案,该答案排名第三。

更新(2013-01-15)

添加了CodesInChaos的字节操作答案,该答案占据了第一位(在大块文本上占据了很大的空间)。

更新(2013-05-23)

添加了内森·莫因瓦济里(Nathan Moinvaziri)的查找答案以及布莱恩·兰伯特(Brian Lambert)博客的变体。两者都相当快,但是在我使用的测试机器(AMD Phenom 9750)上却没有领先。

更新(2014-07-31)

添加了@CodesInChaos的新的基于字节的查找答案。它似乎在句子测试和全文测试上都处于领先地位。

更新(2015-08-20)

在此答案的repo中添加了airbreather的优化和unsafe变体。如果您想玩这种不安全的游戏,无论是短字符串还是大文本,您都可以比以前的任何顶级赢家都获得巨大的性能提升。


您愿意从Waleed的答案中测试代码吗?好像很快。stackoverflow.com/questions/311165/...
克里斯蒂安·迪亚科内斯库

5
尽管提供了代码以供您自己完成您所要求的事情,但我还是更新了测试代码以包含Waleed答案。除了脾气暴躁,它要快得多。
patridge 2010年

2
@CodesInChaos完成。在我的测试中,它也赢得了不少胜利。我还不假装不完全了解这两种顶级方法,但是它们很容易被直接交互所隐藏。
patridge

6
该答案无意回答什么是“自然的”或平凡的问题。目的是给人们一些基本的性能基准,因为当您需要进行这些转换时,您往往会做很多事情。如果有人需要原始速度,他们只需在所需的计算环境中使用一些适当的测试数据来运行基准测试。然后,将该方法放入扩展方法中,在该方法中您再也不必看它的实现(例如bytes.ToHexStringAtLudicrousSpeed())。
patridge

2
刚刚产生了一个基于高性能查询表的实现。它的安全版本比我CPU上的当前领导者快30%。不安全的变体甚至更快。stackoverflow.com/a/24343727/445517
CodesInChaos 2014年

244

有一个名为SoapHexBinary的类可以完全满足您的需求。

using System.Runtime.Remoting.Metadata.W3cXsd2001;

public static byte[] GetStringToBytes(string value)
{
    SoapHexBinary shb = SoapHexBinary.Parse(value);
    return shb.Value;
}

public static string GetBytesToString(byte[] value)
{
    SoapHexBinary shb = new SoapHexBinary(value);
    return shb.ToString();
}

35
SoapHexBinary可从.NET 1.0获得,并且位于mscorlib中。尽管它的名称空间很有趣,但它确实可以解决问题。
狡猾的狮ry

4
很棒的发现!请注意,与其他解决方案一样,您将需要在GetStringToBytes的奇数字符串前添加前导0。
卡特·梅德林

您看过实施思想了吗?接受的答案有更好的恕我直言。
mfloryan 2012年

6
有趣的是在这里看到Mono的实现:github.com/mono/mono/blob/master/mcs/class/corlib/…–
Jeremy

1
.NET Core / .NET Standard ...不支持
SoapHexBinary

141

编写加密代码时,通常要避免依赖数据的分支和表查找,以确保运行时不依赖数据,因为依赖数据的时序可能会导致边信道攻击。

它也非常快。

static string ByteToHexBitFiddle(byte[] bytes)
{
    char[] c = new char[bytes.Length * 2];
    int b;
    for (int i = 0; i < bytes.Length; i++) {
        b = bytes[i] >> 4;
        c[i * 2] = (char)(55 + b + (((b-10)>>31)&-7));
        b = bytes[i] & 0xF;
        c[i * 2 + 1] = (char)(55 + b + (((b-10)>>31)&-7));
    }
    return new string(c);
}

Ph'nglui mglw'nafh Cthulhu R'lyeh wgah'nagl fhtagn


放弃所有希望,进入这里的你们

奇怪的摆弄的解释:

  1. bytes[i] >> 4提取字节的高半字节
    bytes[i] & 0xF提取字节的低半字节
  2. b - 10
    < 0对值b < 10,这将成为一个十进制数字
    >= 0对值b > 10,这将成为从一个信AF
  3. 借助i >> 31符号扩展,在带符号的32位整数上使用可提取符号。这将是-1i < 00i >= 0
  4. 结合2)和3),显示(b-10)>>310用于字母和-1数字。
  5. 查看字母的大小写,最后一个被加数变为0,并且b在10到15的范围内。我们想将其映射到A(65)到F(70),这意味着添加55('A'-10)。
  6. 考虑数字的大小写,我们要调整最后一个被加数,以便将其b从0到9的范围映射到0(48)到9(57)的范围。这意味着它必须变为-7('0' - 55)。
    现在我们可以乘以7。但是由于-1表示所有位均为1,因此可以改用& -7since (0 & -7) == 0(-1 & -7) == -7

一些进一步的考虑:

  • 我没有使用第二个循环变量索引到c,因为测量表明从中进行计算i更便宜。
  • 完全使用i < bytes.Length循环的上限允许JITter消除对的界限检查bytes[i],因此我选择了该变体。
  • b进行int 运算会导致不必要的往返字节转换。

10
hex stringbyte[] array
AaA

15
+1可以在引用那一点黑魔法后正确引用您的信息来源。都向克苏鲁致敬。
爱德华

4
字符串到字节[]呢?
Syaiful Nizam Yahya

9
真好!对于那些需要小写输出的人,表达式显然更改为87 + b + (((b-10)>>31)&-39)
eXavier 2014年

2
@AaA您说“ byte[] array”,字面意思是字节数组或的数组byte[][]。我只是在开玩笑。
CoolOppo 2015年

97

如果您想要比更大的灵活性BitConverter,但又不想那些笨拙的1990年代风格的显式循环,则可以执行以下操作:

String.Join(String.Empty, Array.ConvertAll(bytes, x => x.ToString("X2")));

或者,如果您使用的是.NET 4.0:

String.Concat(Array.ConvertAll(bytes, x => x.ToString("X2")));

(后者来自对原始帖子的评论。)


21
甚至更短:String.Concat(Array.ConvertAll(bytes,x => x.ToString(“ X2”))
Nestor 2009年

14
甚至更短:String.Concat(bytes.Select(b => b.ToString(“ X2”))))[.NET4]
Allon Guralnek,2011年

14
只回答一半的问题。
狡猾的狮ry

1
为什么第二个需要.Net 4?String.Concat在.Net 2.0中。
Polyfun 2014年

2
那些“ 90年代风格”的循环通常更快,但数量可忽略不计,因此在大多数情况下都不重要。不过仍然值得一提
Austin_Anderson

69

另一种基于查找表的方法。这个每个字节只使用一个查询表,而不是每个半字节使用一个查询表。

private static readonly uint[] _lookup32 = CreateLookup32();

private static uint[] CreateLookup32()
{
    var result = new uint[256];
    for (int i = 0; i < 256; i++)
    {
        string s=i.ToString("X2");
        result[i] = ((uint)s[0]) + ((uint)s[1] << 16);
    }
    return result;
}

private static string ByteArrayToHexViaLookup32(byte[] bytes)
{
    var lookup32 = _lookup32;
    var result = new char[bytes.Length * 2];
    for (int i = 0; i < bytes.Length; i++)
    {
        var val = lookup32[bytes[i]];
        result[2*i] = (char)val;
        result[2*i + 1] = (char) (val >> 16);
    }
    return new string(result);
}

我还测试了使用这种变体ushortstruct{char X1, X2}struct{byte X1, X2}在查找表中。

根据编译目标(x86,X64),它们的性能大致相同,或者比此变体稍慢。


为了获得更高的性能,它的unsafe同级产品:

private static readonly uint[] _lookup32Unsafe = CreateLookup32Unsafe();
private static readonly uint* _lookup32UnsafeP = (uint*)GCHandle.Alloc(_lookup32Unsafe,GCHandleType.Pinned).AddrOfPinnedObject();

private static uint[] CreateLookup32Unsafe()
{
    var result = new uint[256];
    for (int i = 0; i < 256; i++)
    {
        string s=i.ToString("X2");
        if(BitConverter.IsLittleEndian)
            result[i] = ((uint)s[0]) + ((uint)s[1] << 16);
        else
            result[i] = ((uint)s[1]) + ((uint)s[0] << 16);
    }
    return result;
}

public static string ByteArrayToHexViaLookup32Unsafe(byte[] bytes)
{
    var lookupP = _lookup32UnsafeP;
    var result = new char[bytes.Length * 2];
    fixed(byte* bytesP = bytes)
    fixed (char* resultP = result)
    {
        uint* resultP2 = (uint*)resultP;
        for (int i = 0; i < bytes.Length; i++)
        {
            resultP2[i] = lookupP[bytesP[i]];
        }
    }
    return new string(result);
}

或者,如果您认为直接写入字符串是可以接受的:

public static string ByteArrayToHexViaLookup32UnsafeDirect(byte[] bytes)
{
    var lookupP = _lookup32UnsafeP;
    var result = new string((char)0, bytes.Length * 2);
    fixed (byte* bytesP = bytes)
    fixed (char* resultP = result)
    {
        uint* resultP2 = (uint*)resultP;
        for (int i = 0; i < bytes.Length; i++)
        {
            resultP2[i] = lookupP[bytesP[i]];
        }
    }
    return result;
}

为什么在不安全的版本中创建查找表会交换预计算字节的半字节?我认为字节序只会改变由多个字节组成的实体的顺序。
Raif Atef 2014年

@RaifAtef在这里重要的不是蚕食的顺序。但是16位字的顺序是32位整数。但是我正在考虑重写它,以便无论字节顺序如何,都可以运行相同的代码。
CodesInChaos

重新读取代码,我认为您这样做是因为稍后将char *转换为uint *并分配它(生成十六进制char时)时,运行时/ CPU将翻转字节(因为uint不被处理)与2个独立的16位字符相同),因此您需要预先翻转它们以进行补偿。我对吗 ?字节序令人困惑:-)。
Raif Atef 2014年

4
这只是回答了一半的问题...从十六进制字符串到字节怎么样?
Narvalex

3
@CodesInChaos我想知道是否Span可以代替unsafe?? 使用它?
康拉德


56

我今天遇到了同样的问题,遇到了以下代码:

private static string ByteArrayToHex(byte[] barray)
{
    char[] c = new char[barray.Length * 2];
    byte b;
    for (int i = 0; i < barray.Length; ++i)
    {
        b = ((byte)(barray[i] >> 4));
        c[i * 2] = (char)(b > 9 ? b + 0x37 : b + 0x30);
        b = ((byte)(barray[i] & 0xF));
        c[i * 2 + 1] = (char)(b > 9 ? b + 0x37 : b + 0x30);
    }
    return new string(c);
}

来源:论坛帖子字节[]十六进制字符串数组(请参阅PZahra的帖子)。我对代码做了一些修改以删除0x前缀。

我对代码进行了性能测试,它几乎比使用BitConverter.ToString()快八倍(根据patridge的帖子,最快)。


更不用说这使用最少的内存。不会创建任何中间字符串。
Chochos

8
只回答一半的问题。
狡猾的狮ry

这很棒,因为它基本上可以在任何版本的NET(包括NETMF)上运行。赢家!
Jonesome恢复Monica 2012年

1
接受的答案提供了2种出色的HexToByteArray方法,它们代表了问题的另一半。Waleed的解决方案回答了如何在不创建大量字符串的情况下执行此操作的问题。
Brendten Eickstaedt 2012年

新的string(c)是否复制并重新分配,还是足够聪明以至于知道何时可以简单地包装char []?
jjxtra

19

这是对Tomalak最受欢迎的答案(及其后续编辑)的修订版4回答

我将以为这种编辑是错误的,并解释为什么可以将其还原。在此过程中,您可能会学到一些关于内部原理的东西,然后再看一个示例,该示例实际上是什么过早的优化及其如何对您造成伤害。

tl; dr:只需使用Convert.ToByteString.Substring如果您很着急(下面的“原始代码”),如果不想重新实现,这是最佳组合Convert.ToByteConvert.ToByte如果需要性能,请使用更高级的东西(请参阅其他答案)。千万不能使用别的以外String.Substring与组合Convert.ToByte,除非有人些有趣的说这个在这个答案的评论。

警告:如果出现以下情况,此答案可能会过时Convert.ToByte(char[], Int32)在框架中实现重载,则。这不太可能很快发生。

通常,我不太喜欢说“不要过早优化”,因为没人知道“过早”的时间。在决定是否进行优化时,您必须考虑的唯一事情是:“我是否有时间和资源来正确研究优化方法?”。如果不这样做,那么它的太早,等到项目比较成熟,或者直到你所需要的性能(如果有实际需要,那么你会的时间)。同时,请执行可能可行的最简单的操作。

原始代码:

    public static byte[] HexadecimalStringToByteArray_Original(string input)
    {
        var outputLength = input.Length / 2;
        var output = new byte[outputLength];
        for (var i = 0; i < outputLength; i++)
            output[i] = Convert.ToByte(input.Substring(i * 2, 2), 16);
        return output;
    }

修订4:

    public static byte[] HexadecimalStringToByteArray_Rev4(string input)
    {
        var outputLength = input.Length / 2;
        var output = new byte[outputLength];
        using (var sr = new StringReader(input))
        {
            for (var i = 0; i < outputLength; i++)
                output[i] = Convert.ToByte(new string(new char[2] { (char)sr.Read(), (char)sr.Read() }), 16);
        }
        return output;
    }

修订版避免String.Substring使用StringReader而改为。给定的原因是:

编辑:您可以使用单遍解析器来提高长字符串的性能,如下所示:

好吧,看一下参考代码String.Substring,它显然已经是“单次通过”了;为什么不呢?它以字节级别运行,而不是在代理对上运行。

但是,它确实分配了一个新字符串,但是Convert.ToByte无论如何您都需要分配一个字符串。此外,修订版中提供的解决方案在每次迭代中分配了另一个对象(两字符数组)。您可以安全地将该分配放到循环之外,并重新使用该数组来避免这种情况。

    public static byte[] HexadecimalStringToByteArray(string input)
    {
        var outputLength = input.Length / 2;
        var output = new byte[outputLength];
        var numeral = new char[2];
        using (var sr = new StringReader(input))
        {
            for (var i = 0; i < outputLength; i++)
            {
                numeral[0] = (char)sr.Read();
                numeral[1] = (char)sr.Read();
                output[i] = Convert.ToByte(new string(numeral), 16);
            }
        }
        return output;
    }

每个十六进制numeral使用两个数字(符号)表示一个八位位组。

但是,为什么还要打StringReader.Read两次电话呢?只需调用它的第二个重载,并要求它一次读取2个字符的数组中的两个字符即可;并将通话量减少两个。

    public static byte[] HexadecimalStringToByteArray(string input)
    {
        var outputLength = input.Length / 2;
        var output = new byte[outputLength];
        var numeral = new char[2];
        using (var sr = new StringReader(input))
        {
            for (var i = 0; i < outputLength; i++)
            {
                var read = sr.Read(numeral, 0, 2);
                Debug.Assert(read == 2);
                output[i] = Convert.ToByte(new string(numeral), 16);
            }
        }
        return output;
    }

剩下的是一个字符串读取器,它唯一添加的“值”是_pos可以声明自己的并行索引(内部)(j例如),冗余长度变量(内部_length)和对输入的冗余引用。字符串(内部_s)。换句话说,它是没有用的。

如果您想知道Read“读取”的方式,只需看一下代码,它所做的就是String.CopyTo在输入字符串上调用。剩下的只是簿记管理费用,以维持我们不需要的价值。

因此,已经删除了字符串阅读器,然后自称CopyTo;它更简单,更清晰,更高效。

    public static byte[] HexadecimalStringToByteArray(string input)
    {
        var outputLength = input.Length / 2;
        var output = new byte[outputLength];
        var numeral = new char[2];
        for (int i = 0, j = 0; i < outputLength; i++, j += 2)
        {
            input.CopyTo(j, numeral, 0, 2);
            output[i] = Convert.ToByte(new string(numeral), 16);
        }
        return output;
    }

您是否真的需要一个j以2为增量与平行增加的索引i?当然不是,只要乘以i2(编译器应该可以将其优化为加法)。

    public static byte[] HexadecimalStringToByteArray_BestEffort(string input)
    {
        var outputLength = input.Length / 2;
        var output = new byte[outputLength];
        var numeral = new char[2];
        for (int i = 0; i < outputLength; i++)
        {
            input.CopyTo(i * 2, numeral, 0, 2);
            output[i] = Convert.ToByte(new string(numeral), 16);
        }
        return output;
    }

现在的解决方案是什么样的?就像刚开始时一样,只是String.Substring使用中间数组来复制十六进制数字,而不是用来分配字符串并将数据复制到其中,然后自己分配字符串并再次从中复制数据数组并放入字符串(在字符串构造函数中传递时)。如果该字符串已在内部缓冲池中,则可能会优化第二个副本,但是String.Substring在这种情况下,也可以避免使用该副本。

实际上,如果String.Substring再看一遍,就会发现它使用了一些底层的内部知识,即如何构造字符串以比通常更快地分配字符串,并且它内联了CopyTo直接在其中使用的相同代码,以避免通话费用。

String.Substring

  • 最坏的情况:一种快速分配,一种快速复制。
  • 最佳情况:无分配,无副本。

手动方式

  • 最坏的情况:两个普通分配,一个普通副本,一个快速副本。
  • 最佳情况:一份普通分配,一份普通副本。

结论?如果您想使用Convert.ToByte(String, Int32)(因为您不想自己重新实现该功能),似乎没有办法击败它String.Substring;您要做的只是绕圈运行,重新发明轮子(仅适用于次优材料)。

请注意,如果您不需要极高的性能,则使用Convert.ToByteString.Substring是一个非常有效的选择。切记:只有在您有时间和资源调查其工作方式的情况下,才选择其他方法。

如果存在,则Convert.ToByte(char[], Int32)当然会有所不同(可以做我上面描述的事情并完全避免String)。

我怀疑通过“避免String.Substring” 报告更好的性能的人也会避免Convert.ToByte(String, Int32),如果您仍然需要性能,则应该这样做。查看无数其他答案,以发现实现此目的的所有不同方法。

免责声明:我尚未反编译该框架的最新版本,以确认参考源是最新的(我认为是最新的)。

现在,这一切听起来不错且合乎逻辑,如果您已经走到了这一步,希望甚至显而易见。但这是真的吗?

Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz
    Cores: 8
    Current Clock Speed: 2600
    Max Clock Speed: 2600
--------------------
Parsing hexadecimal string into an array of bytes
--------------------
HexadecimalStringToByteArray_Original: 7,777.09 average ticks (over 10000 runs), 1.2X
HexadecimalStringToByteArray_BestEffort: 8,550.82 average ticks (over 10000 runs), 1.1X
HexadecimalStringToByteArray_Rev4: 9,218.03 average ticks (over 10000 runs), 1.0X

是!

为Benchridge的Partridge提供支持,很容易被黑客入侵。所使用的输入是以下SHA-1哈希,重复进行了5000次,以生成100,000个字节长的字符串。

209113288F93A9AB8E474EA78D899AFDBB874355

玩得开心!(但要适度优化。)


错误:{“找不到任何可识别的数字。”}
Priya Jagtap

17

通过@CodesInChaos回答的补充(反向方法)

public static byte[] HexToByteUsingByteManipulation(string s)
{
    byte[] bytes = new byte[s.Length / 2];
    for (int i = 0; i < bytes.Length; i++)
    {
        int hi = s[i*2] - 65;
        hi = hi + 10 + ((hi >> 31) & 7);

        int lo = s[i*2 + 1] - 65;
        lo = lo + 10 + ((lo >> 31) & 7) & 0x0f;

        bytes[i] = (byte) (lo | hi << 4);
    }
    return bytes;
}

说明:

& 0x0f 也支持小写字母

hi = hi + 10 + ((hi >> 31) & 7); 是相同的:

hi = ch-65 + 10 + (((ch-65) >> 31) & 7);

为“0” ..“9”是相同hi = ch - 65 + 10 + 7;它是hi = ch - 48(这是因为0xffffffff & 7)。

对于'A'..'F'是hi = ch - 65 + 10;(这是因为0x00000000 & 7)。

对于'a'..'f',我们必须使用大数字,因此必须0通过使用进行一些位设置,以从默认版本中减去32 & 0x0f

65是代码 'A'

48是代码 '0'

图7是间字母的数目'9''A'在ASCII表(...456789:;<=>?@ABCD...)。


16

使用查找表也可以解决此问题。对于编码器和解码器,这将需要少量的静态存储器。但是,此方法将很快:

  • 编码器表512字节或1024字节(如果需要大小写,则为两倍)
  • 解码器表256字节或64 KiB(单字符查找或双字符查找)

我的解决方案将1024字节用于编码表,将256字节用于解码。

解码

private static readonly byte[] LookupTable = new byte[] {
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0x08, 0x09, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E, 0x0F, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E, 0x0F, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF
};

private static byte Lookup(char c)
{
  var b = LookupTable[c];
  if (b == 255)
    throw new IOException("Expected a hex character, got " + c);
  return b;
}

public static byte ToByte(char[] chars, int offset)
{
  return (byte)(Lookup(chars[offset]) << 4 | Lookup(chars[offset + 1]));
}

编码方式

private static readonly char[][] LookupTableUpper;
private static readonly char[][] LookupTableLower;

static Hex()
{
  LookupTableLower = new char[256][];
  LookupTableUpper = new char[256][];
  for (var i = 0; i < 256; i++)
  {
    LookupTableLower[i] = i.ToString("x2").ToCharArray();
    LookupTableUpper[i] = i.ToString("X2").ToCharArray();
  }
}

public static char[] ToCharLower(byte[] b, int bOffset)
{
  return LookupTableLower[b[bOffset]];
}

public static char[] ToCharUpper(byte[] b, int bOffset)
{
  return LookupTableUpper[b[bOffset]];
}

比较方式

StringBuilderToStringFromBytes:   106148
BitConverterToStringFromBytes:     15783
ArrayConvertAllToStringFromBytes:  54290
ByteManipulationToCharArray:        8444
TableBasedToCharArray:              5651 *

*此解决方案

注意

在解码期间,可能会发生IOException和IndexOutOfRangeException(如果字符的值太高,大于256)。应该实现对流或数组进行解码/编码的方法,这只是概念上的证明。


2
在CLR上运行代码时,可以忽略256字节的内存使用情况。
2013年

9

这是一个很棒的帖子。我喜欢Waleed的解决方案。我还没有通过patridge的测试来运行它,但是它似乎很快。我还需要反向过程,将十六进制字符串转换为字节数组,因此我将其编写为与Waleed解决方案相反。不知道它是否比Tomalak的原始解决方案更快。同样,我也没有通过patridge的测试进行相反的过程。

private byte[] HexStringToByteArray(string hexString)
{
    int hexStringLength = hexString.Length;
    byte[] b = new byte[hexStringLength / 2];
    for (int i = 0; i < hexStringLength; i += 2)
    {
        int topChar = (hexString[i] > 0x40 ? hexString[i] - 0x37 : hexString[i] - 0x30) << 4;
        int bottomChar = hexString[i + 1] > 0x40 ? hexString[i + 1] - 0x37 : hexString[i + 1] - 0x30;
        b[i / 2] = Convert.ToByte(topChar + bottomChar);
    }
    return b;
}

此代码假定十六进制字符串使用大写字母字符,如果十六进制字符串使用小写字母字符,则炸毁。为了安全起见,可能要对输入字符串执行“大写”转换。
马克·诺瓦科夫斯基

这是马克的敏锐观察。编写该代码是为了扭转Waleed的解决方案。ToUpper调用会使算法变慢一些,但允许它处理小写字母字符。
克里斯·F

3
Convert.ToByte(topChar + bottomChar)可以写为(byte)(topChar + bottomChar)
Amir Rezaei

要处理这两种情况而不会造成较大的性能损失,hexString[i] &= ~0x20;
Ben Voigt 2014年

9

为什么要使其复杂?在Visual Studio 2008中,这很简单:

C#:

string hex = BitConverter.ToString(YourByteArray).Replace("-", "");

VB:

Dim hex As String = BitConverter.ToString(YourByteArray).Replace("-", "")

2
原因是性能,当您需要高性能解决方案时。:)
Ricky

7

在此不谈很多答案,但我发现十六进制字符串解析器的实现相当理想(比公认的要好约4.5倍),直接实现。首先,我的测试输出(第一批是我的实现):

Give me that string:
04c63f7842740c77e545bb0b2ade90b384f119f6ab57b680b7aa575a2f40939f

Time to parse 100,000 times: 50.4192 ms
Result as base64: BMY/eEJ0DHflRbsLKt6Qs4TxGfarV7aAt6pXWi9Ak58=
BitConverter'd: 04-C6-3F-78-42-74-0C-77-E5-45-BB-0B-2A-DE-90-B3-84-F1-19-F6-AB-5
7-B6-80-B7-AA-57-5A-2F-40-93-9F

Accepted answer: (StringToByteArray)
Time to parse 100000 times: 233.1264ms
Result as base64: BMY/eEJ0DHflRbsLKt6Qs4TxGfarV7aAt6pXWi9Ak58=
BitConverter'd: 04-C6-3F-78-42-74-0C-77-E5-45-BB-0B-2A-DE-90-B3-84-F1-19-F6-AB-5
7-B6-80-B7-AA-57-5A-2F-40-93-9F

With Mono's implementation:
Time to parse 100000 times: 777.2544ms
Result as base64: BMY/eEJ0DHflRbsLKt6Qs4TxGfarV7aAt6pXWi9Ak58=
BitConverter'd: 04-C6-3F-78-42-74-0C-77-E5-45-BB-0B-2A-DE-90-B3-84-F1-19-F6-AB-5
7-B6-80-B7-AA-57-5A-2F-40-93-9F

With SoapHexBinary:
Time to parse 100000 times: 845.1456ms
Result as base64: BMY/eEJ0DHflRbsLKt6Qs4TxGfarV7aAt6pXWi9Ak58=
BitConverter'd: 04-C6-3F-78-42-74-0C-77-E5-45-BB-0B-2A-DE-90-B3-84-F1-19-F6-AB-5
7-B6-80-B7-AA-57-5A-2F-40-93-9F

base64和'BitConverter'd'行在那里测试正确性。请注意,它们是相等的。

实现:

public static byte[] ToByteArrayFromHex(string hexString)
{
  if (hexString.Length % 2 != 0) throw new ArgumentException("String must have an even length");
  var array = new byte[hexString.Length / 2];
  for (int i = 0; i < hexString.Length; i += 2)
  {
    array[i/2] = ByteFromTwoChars(hexString[i], hexString[i + 1]);
  }
  return array;
}

private static byte ByteFromTwoChars(char p, char p_2)
{
  byte ret;
  if (p <= '9' && p >= '0')
  {
    ret = (byte) ((p - '0') << 4);
  }
  else if (p <= 'f' && p >= 'a')
  {
    ret = (byte) ((p - 'a' + 10) << 4);
  }
  else if (p <= 'F' && p >= 'A')
  {
    ret = (byte) ((p - 'A' + 10) << 4);
  } else throw new ArgumentException("Char is not a hex digit: " + p,"p");

  if (p_2 <= '9' && p_2 >= '0')
  {
    ret |= (byte) ((p_2 - '0'));
  }
  else if (p_2 <= 'f' && p_2 >= 'a')
  {
    ret |= (byte) ((p_2 - 'a' + 10));
  }
  else if (p_2 <= 'F' && p_2 >= 'A')
  {
    ret |= (byte) ((p_2 - 'A' + 10));
  } else throw new ArgumentException("Char is not a hex digit: " + p_2, "p_2");

  return ret;
}

我尝试了一些方法unsafe,将(显然是多余的)字符到半字节if序列移动到了另一种方法,但这是最快的方法。

(我承认这回答了一半的问题。我认为string-> byte []转换的代表性不足,而byte []-> string的角度似乎已被很好地涵盖了。因此,此答案。)


1
对于Knuth的追随者:之所以这样做,是因为我需要每隔几分钟左右解析几千个十六进制字符串,因此,使其尽可能快(在内部循环中)是非常重要的。如果没有发生许多此类解析,Tomalak的解决方案的速度将不会显着降低。
本·莫舍

5

安全版本:

public static class HexHelper
{
    [System.Diagnostics.Contracts.Pure]
    public static string ToHex(this byte[] value)
    {
        if (value == null)
            throw new ArgumentNullException("value");

        const string hexAlphabet = @"0123456789ABCDEF";

        var chars = new char[checked(value.Length * 2)];
        unchecked
        {
            for (int i = 0; i < value.Length; i++)
            {
                chars[i * 2] = hexAlphabet[value[i] >> 4];
                chars[i * 2 + 1] = hexAlphabet[value[i] & 0xF];
            }
        }
        return new string(chars);
    }

    [System.Diagnostics.Contracts.Pure]
    public static byte[] FromHex(this string value)
    {
        if (value == null)
            throw new ArgumentNullException("value");
        if (value.Length % 2 != 0)
            throw new ArgumentException("Hexadecimal value length must be even.", "value");

        unchecked
        {
            byte[] result = new byte[value.Length / 2];
            for (int i = 0; i < result.Length; i++)
            {
                // 0(48) - 9(57) -> 0 - 9
                // A(65) - F(70) -> 10 - 15
                int b = value[i * 2]; // High 4 bits.
                int val = ((b - '0') + ((('9' - b) >> 31) & -7)) << 4;
                b = value[i * 2 + 1]; // Low 4 bits.
                val += (b - '0') + ((('9' - b) >> 31) & -7);
                result[i] = checked((byte)val);
            }
            return result;
        }
    }
}

不安全版本适用于喜欢性能且不怕不安全的人。ToHex快大约35%,FromHex快10%。

public static class HexUnsafeHelper
{
    [System.Diagnostics.Contracts.Pure]
    public static unsafe string ToHex(this byte[] value)
    {
        if (value == null)
            throw new ArgumentNullException("value");

        const string alphabet = @"0123456789ABCDEF";

        string result = new string(' ', checked(value.Length * 2));
        fixed (char* alphabetPtr = alphabet)
        fixed (char* resultPtr = result)
        {
            char* ptr = resultPtr;
            unchecked
            {
                for (int i = 0; i < value.Length; i++)
                {
                    *ptr++ = *(alphabetPtr + (value[i] >> 4));
                    *ptr++ = *(alphabetPtr + (value[i] & 0xF));
                }
            }
        }
        return result;
    }

    [System.Diagnostics.Contracts.Pure]
    public static unsafe byte[] FromHex(this string value)
    {
        if (value == null)
            throw new ArgumentNullException("value");
        if (value.Length % 2 != 0)
            throw new ArgumentException("Hexadecimal value length must be even.", "value");

        unchecked
        {
            byte[] result = new byte[value.Length / 2];
            fixed (char* valuePtr = value)
            {
                char* valPtr = valuePtr;
                for (int i = 0; i < result.Length; i++)
                {
                    // 0(48) - 9(57) -> 0 - 9
                    // A(65) - F(70) -> 10 - 15
                    int b = *valPtr++; // High 4 bits.
                    int val = ((b - '0') + ((('9' - b) >> 31) & -7)) << 4;
                    b = *valPtr++; // Low 4 bits.
                    val += (b - '0') + ((('9' - b) >> 31) & -7);
                    result[i] = checked((byte)val);
                }
            }
            return result;
        }
    }
}

BTW 为了进行基准测试,每次调用的转换函数错误时初始化字母,字母必须为const(对于字符串)或静态只读(对于char [])。然后,基于字母的byte []到字符串的转换变得和字节操作版本一样快。

当然,必须在Release(带有优化)中编译测试,并关闭调试选项“ Suppress JIT Optimization”(如果必须调试,则与“ Enable Just My Code”相同)。


5

Waleed Eissa代码的反函数(十六进制字符串到字节数组):

    public static byte[] HexToBytes(this string hexString)        
    {
        byte[] b = new byte[hexString.Length / 2];            
        char c;
        for (int i = 0; i < hexString.Length / 2; i++)
        {
            c = hexString[i * 2];
            b[i] = (byte)((c < 0x40 ? c - 0x30 : (c < 0x47 ? c - 0x37 : c - 0x57)) << 4);
            c = hexString[i * 2 + 1];
            b[i] += (byte)(c < 0x40 ? c - 0x30 : (c < 0x47 ? c - 0x37 : c - 0x57));
        }

        return b;
    }

Waleed Eissa函数具有小写字母支持:

    public static string BytesToHex(this byte[] barray, bool toLowerCase = true)
    {
        byte addByte = 0x37;
        if (toLowerCase) addByte = 0x57;
        char[] c = new char[barray.Length * 2];
        byte b;
        for (int i = 0; i < barray.Length; ++i)
        {
            b = ((byte)(barray[i] >> 4));
            c[i * 2] = (char)(b > 9 ? b + addByte : b + 0x30);
            b = ((byte)(barray[i] & 0xF));
            c[i * 2 + 1] = (char)(b > 9 ? b + addByte : b + 0x30);
        }

        return new string(c);
    }

4

扩展方法(免责声明:完全未经测试的代码,BTW ...):

public static class ByteExtensions
{
    public static string ToHexString(this byte[] ba)
    {
        StringBuilder hex = new StringBuilder(ba.Length * 2);

        foreach (byte b in ba)
        {
            hex.AppendFormat("{0:x2}", b);
        }
        return hex.ToString();
    }
}

等。使用Tomalak的三种解决方案之一(最后一种是对字符串的扩展方法)。


在为这样的问题提供代码之前,您可能应该测试代码。
jww

3

从微软的开发人员那里,一个很好的,简单的转换:

public static string ByteArrayToString(byte[] ba) 
{
    // Concatenate the bytes into one long string
    return ba.Aggregate(new StringBuilder(32),
                            (sb, b) => sb.Append(b.ToString("X2"))
                            ).ToString();
}

尽管上面的内容干净紧凑,但是性能迷们会使用枚举器大喊大叫。您可以使用Tomalak原始答案的改进版本获得最佳性能:

public static string ByteArrayToString(byte[] ba)   
{   
   StringBuilder hex = new StringBuilder(ba.Length * 2);   

   for(int i=0; i < ba.Length; i++)       // <-- Use for loop is faster than foreach   
       hex.Append(ba[i].ToString("X2"));   // <-- ToString is faster than AppendFormat   

   return hex.ToString();   
} 

到目前为止,这是我在此处看到的所有例程中最快的。不要只是相信我的话...对每个例程进行性能测试,并亲自检查其CIL代码。


2
迭代器不是此代码的主要问题。您应该进行基准测试b.ToSting("X2")
2013年

2

并用于插入SQL字符串(如果您不使用命令参数):

public static String ByteArrayToSQLHexString(byte[] Source)
{
    return = "0x" + BitConverter.ToString(Source).Replace("-", "");
}

先生,如果Source == null还是Source.Length == 0我们有问题!
安德烈·克拉苏斯基

2

在速度方面,这似乎比这里的任何东西都要好:

  public static string ToHexString(byte[] data) {
    byte b;
    int i, j, k;
    int l = data.Length;
    char[] r = new char[l * 2];
    for (i = 0, j = 0; i < l; ++i) {
      b = data[i];
      k = b >> 4;
      r[j++] = (char)(k > 9 ? k + 0x37 : k + 0x30);
      k = b & 15;
      r[j++] = (char)(k > 9 ? k + 0x37 : k + 0x30);
    }
    return new string(r);
  }

2

我没有收到您建议使用的代码,Olipro。hex[i] + hex[i+1]显然返回了int

但是,通过从Waleeds代码中获得一些提示并将其整合在一起,我确实取得了成功。根据我的测试(使用色标测试机制),它看起来像地狱一样丑陋,但似乎可以正常工作,并且执行时间仅为其他时间的1/3。取决于输入大小。先切换?:s来分开0-9可能会产生更快的结果,因为数字多于字母。

public static byte[] StringToByteArray2(string hex)
{
    byte[] bytes = new byte[hex.Length/2];
    int bl = bytes.Length;
    for (int i = 0; i < bl; ++i)
    {
        bytes[i] = (byte)((hex[2 * i] > 'F' ? hex[2 * i] - 0x57 : hex[2 * i] > '9' ? hex[2 * i] - 0x37 : hex[2 * i] - 0x30) << 4);
        bytes[i] |= (byte)(hex[2 * i + 1] > 'F' ? hex[2 * i + 1] - 0x57 : hex[2 * i + 1] > '9' ? hex[2 * i + 1] - 0x37 : hex[2 * i + 1] - 0x30);
    }
    return bytes;
}

2

此版本的ByteArrayToHexViaByteManipulation可能会更快。

从我的报告中:

  • ByteArrayToHexViaByteManipulation3:1,68个平均滴答声(运行1000次以上),17.5X
  • ByteArrayToHexViaByteManipulation2:1,73个平均滴答声(超过1000次运行),16,9X
  • ByteArrayToHexViaByteManipulation:2,90平均滴答声(超过1000次运行),10,1X
  • ByteArrayToHexViaLookupAndShift:3,22个平均滴答声(超过1000次运行),9,1X
  • ...

    static private readonly char[] hexAlphabet = new char[]
        {'0','1','2','3','4','5','6','7','8','9','A','B','C','D','E','F'};
    static string ByteArrayToHexViaByteManipulation3(byte[] bytes)
    {
        char[] c = new char[bytes.Length * 2];
        byte b;
        for (int i = 0; i < bytes.Length; i++)
        {
            b = ((byte)(bytes[i] >> 4));
            c[i * 2] = hexAlphabet[b];
            b = ((byte)(bytes[i] & 0xF));
            c[i * 2 + 1] = hexAlphabet[b];
        }
        return new string(c);
    }

我认为这是一种优化:

    static private readonly char[] hexAlphabet = new char[]
        {'0','1','2','3','4','5','6','7','8','9','A','B','C','D','E','F'};
    static string ByteArrayToHexViaByteManipulation4(byte[] bytes)
    {
        char[] c = new char[bytes.Length * 2];
        for (int i = 0, ptr = 0; i < bytes.Length; i++, ptr += 2)
        {
            byte b = bytes[i];
            c[ptr] = hexAlphabet[b >> 4];
            c[ptr + 1] = hexAlphabet[b & 0xF];
        }
        return new string(c);
    }

2

我将参加这个有点挑剔的比赛,因为我有一个答案,该答案也使用了点缀十六进制进行解码。请注意,使用字符数组可能更快,因为调用StringBuilder方法也将花费时间。

public static String ToHex (byte[] data)
{
    int dataLength = data.Length;
    // pre-create the stringbuilder using the length of the data * 2, precisely enough
    StringBuilder sb = new StringBuilder (dataLength * 2);
    for (int i = 0; i < dataLength; i++) {
        int b = data [i];

        // check using calculation over bits to see if first tuple is a letter
        // isLetter is zero if it is a digit, 1 if it is a letter
        int isLetter = (b >> 7) & ((b >> 6) | (b >> 5)) & 1;

        // calculate the code using a multiplication to make up the difference between
        // a digit character and an alphanumerical character
        int code = '0' + ((b >> 4) & 0xF) + isLetter * ('A' - '9' - 1);
        // now append the result, after casting the code point to a character
        sb.Append ((Char)code);

        // do the same with the lower (less significant) tuple
        isLetter = (b >> 3) & ((b >> 2) | (b >> 1)) & 1;
        code = '0' + (b & 0xF) + isLetter * ('A' - '9' - 1);
        sb.Append ((Char)code);
    }
    return sb.ToString ();
}

public static byte[] FromHex (String hex)
{

    // pre-create the array
    int resultLength = hex.Length / 2;
    byte[] result = new byte[resultLength];
    // set validity = 0 (0 = valid, anything else is not valid)
    int validity = 0;
    int c, isLetter, value, validDigitStruct, validDigit, validLetterStruct, validLetter;
    for (int i = 0, hexOffset = 0; i < resultLength; i++, hexOffset += 2) {
        c = hex [hexOffset];

        // check using calculation over bits to see if first char is a letter
        // isLetter is zero if it is a digit, 1 if it is a letter (upper & lowercase)
        isLetter = (c >> 6) & 1;

        // calculate the tuple value using a multiplication to make up the difference between
        // a digit character and an alphanumerical character
        // minus 1 for the fact that the letters are not zero based
        value = ((c & 0xF) + isLetter * (-1 + 10)) << 4;

        // check validity of all the other bits
        validity |= c >> 7; // changed to >>, maybe not OK, use UInt?

        validDigitStruct = (c & 0x30) ^ 0x30;
        validDigit = ((c & 0x8) >> 3) * (c & 0x6);
        validity |= (isLetter ^ 1) * (validDigitStruct | validDigit);

        validLetterStruct = c & 0x18;
        validLetter = (((c - 1) & 0x4) >> 2) * ((c - 1) & 0x2);
        validity |= isLetter * (validLetterStruct | validLetter);

        // do the same with the lower (less significant) tuple
        c = hex [hexOffset + 1];
        isLetter = (c >> 6) & 1;
        value ^= (c & 0xF) + isLetter * (-1 + 10);
        result [i] = (byte)value;

        // check validity of all the other bits
        validity |= c >> 7; // changed to >>, maybe not OK, use UInt?

        validDigitStruct = (c & 0x30) ^ 0x30;
        validDigit = ((c & 0x8) >> 3) * (c & 0x6);
        validity |= (isLetter ^ 1) * (validDigitStruct | validDigit);

        validLetterStruct = c & 0x18;
        validLetter = (((c - 1) & 0x4) >> 2) * ((c - 1) & 0x2);
        validity |= isLetter * (validLetterStruct | validLetter);
    }

    if (validity != 0) {
        throw new ArgumentException ("Hexadecimal encoding incorrect for input " + hex);
    }

    return result;
}

从Java代码转换而成。


嗯,我真的应该对此进行优化,Char[]并在Char内部使用而不是整数……
Maarten Bodewes 2014年

对于C#,为了使编译器最优化,可能更希望在变量使用的地方而不是在循环之外进行初始化。无论哪种方式,我都能获得同等的性能。
彼得

2

为了性能,我会选择drphrozens解决方案。解码器的一个微小优化可能是使用一个表作为char来摆脱“ << 4”。

显然,这两种方法调用的成本很高。如果对输入或输出数据进行某种类型的检查(可以是CRC,校验和或其他),则if (b == 255)...可以跳过该检查,因此该方法也将完全调用。

使用offset++offset代替offset and offset + 1可能会提供一些理论上的好处,但是我怀疑编译器会比我更好地处理此问题。

private static readonly byte[] LookupTableLow = new byte[] {
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0x08, 0x09, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E, 0x0F, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E, 0x0F, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF
};

private static readonly byte[] LookupTableHigh = new byte[] {
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0x00, 0x10, 0x20, 0x30, 0x40, 0x50, 0x60, 0x70, 0x80, 0x90, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xA0, 0xB0, 0xC0, 0xD0, 0xE0, 0xF0, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xA0, 0xB0, 0xC0, 0xD0, 0xE0, 0xF0, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF,
  0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF
};

private static byte LookupLow(char c)
{
  var b = LookupTableLow[c];
  if (b == 255)
    throw new IOException("Expected a hex character, got " + c);
  return b;
}

private static byte LookupHigh(char c)
{
  var b = LookupTableHigh[c];
  if (b == 255)
    throw new IOException("Expected a hex character, got " + c);
  return b;
}

public static byte ToByte(char[] chars, int offset)
{
  return (byte)(LookupHigh(chars[offset++]) | LookupLow(chars[offset]));
}

这只是我的脑袋,尚未经过测试或基准测试。


1

多样性的另一种变化:

public static byte[] FromHexString(string src)
{
    if (String.IsNullOrEmpty(src))
        return null;

    int index = src.Length;
    int sz = index / 2;
    if (sz <= 0)
        return null;

    byte[] rc = new byte[sz];

    while (--sz >= 0)
    {
        char lo = src[--index];
        char hi = src[--index];

        rc[sz] = (byte)(
            (
                (hi >= '0' && hi <= '9') ? hi - '0' :
                (hi >= 'a' && hi <= 'f') ? hi - 'a' + 10 :
                (hi >= 'A' && hi <= 'F') ? hi - 'A' + 10 :
                0
            )
            << 4 | 
            (
                (lo >= '0' && lo <= '9') ? lo - '0' :
                (lo >= 'a' && lo <= 'f') ? lo - 'a' + 10 :
                (lo >= 'A' && lo <= 'F') ? lo - 'A' + 10 :
                0
            )
        );
    }

    return rc;          
}

1

尚未针对速度进行优化,但比大多数答案(.NET 4.0)更多的LINQy:

<Extension()>
Public Function FromHexToByteArray(hex As String) As Byte()
    hex = If(hex, String.Empty)
    If hex.Length Mod 2 = 1 Then hex = "0" & hex
    Return Enumerable.Range(0, hex.Length \ 2).Select(Function(i) Convert.ToByte(hex.Substring(i * 2, 2), 16)).ToArray
End Function

<Extension()>
Public Function ToHexString(bytes As IEnumerable(Of Byte)) As String
    Return String.Concat(bytes.Select(Function(b) b.ToString("X2")))
End Function

1

两个混搭将两个半字节操作折叠为一个。

可能是非常有效的版本:

public static string ByteArrayToString2(byte[] ba)
{
    char[] c = new char[ba.Length * 2];
    for( int i = 0; i < ba.Length * 2; ++i)
    {
        byte b = (byte)((ba[i>>1] >> 4*((i&1)^1)) & 0xF);
        c[i] = (char)(55 + b + (((b-10)>>31)&-7));
    }
    return new string( c );
}

a废linq-with-bit-hacking版本:

public static string ByteArrayToString(byte[] ba)
{
    return string.Concat( ba.SelectMany( b => new int[] { b >> 4, b & 0xF }).Select( b => (char)(55 + b + (((b-10)>>31)&-7))) );
}

反过来:

public static byte[] HexStringToByteArray( string s )
{
    byte[] ab = new byte[s.Length>>1];
    for( int i = 0; i < s.Length; i++ )
    {
        int b = s[i];
        b = (b - '0') + ((('9' - b)>>31)&-7);
        ab[i>>1] |= (byte)(b << 4*((i&1)^1));
    }
    return ab;
}

1
HexStringToByteArray(“ 09”)返回0x02,这很糟糕
CoperNick

1

另一种方法是使用stackalloc来减少GC的内存压力:

static string ByteToHexBitFiddle(byte[] bytes)
{
        var c = stackalloc char[bytes.Length * 2 + 1];
        int b; 
        for (int i = 0; i < bytes.Length; ++i)
        {
            b = bytes[i] >> 4;
            c[i * 2] = (char)(55 + b + (((b - 10) >> 31) & -7));
            b = bytes[i] & 0xF;
            c[i * 2 + 1] = (char)(55 + b + (((b - 10) >> 31) & -7));
        }
        c[bytes.Length * 2 ] = '\0';
        return new string(c);
}

1

这是我的镜头。我创建了一对扩展类来扩展字符串和字节。在大文件测试中,性能可与Byte Manipulation 2媲美。

下面的ToHexString代码是查找和移位算法的优化实现。它与Behrooz的代码几乎相同,但是事实证明使用a foreach进行迭代,并且计数器比显式索引要快。for

它在我的机器上的字节操作2之后排在第二位,并且代码可读性强。以下测试结果也很有趣:

ToHexStringCharArrayWithCharArrayLookup:41,589.69平均刻度(超过1000轮),1.5X ToHexStringCharArrayWithStringLookup:50,764.06平均刻度(超过1000轮),1.2X ToHexStringStringBuilderWithCharArrayLookup:62,812.87平均刻度(超过1000轮),1.0X

根据以上结果,可以得出结论:

  1. 在大型文件测试中,索引到字符串以执行查找与char数组相比要付出很大的代价。
  2. 使用已知容量的StringBuilder与已知大小的char数组来创建字符串的代价甚至更大。

这是代码:

using System;

namespace ConversionExtensions
{
    public static class ByteArrayExtensions
    {
        private readonly static char[] digits = new char[] { '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F' };

        public static string ToHexString(this byte[] bytes)
        {
            char[] hex = new char[bytes.Length * 2];
            int index = 0;

            foreach (byte b in bytes)
            {
                hex[index++] = digits[b >> 4];
                hex[index++] = digits[b & 0x0F];
            }

            return new string(hex);
        }
    }
}


using System;
using System.IO;

namespace ConversionExtensions
{
    public static class StringExtensions
    {
        public static byte[] ToBytes(this string hexString)
        {
            if (!string.IsNullOrEmpty(hexString) && hexString.Length % 2 != 0)
            {
                throw new FormatException("Hexadecimal string must not be empty and must contain an even number of digits to be valid.");
            }

            hexString = hexString.ToUpperInvariant();
            byte[] data = new byte[hexString.Length / 2];

            for (int index = 0; index < hexString.Length; index += 2)
            {
                int highDigitValue = hexString[index] <= '9' ? hexString[index] - '0' : hexString[index] - 'A' + 10;
                int lowDigitValue = hexString[index + 1] <= '9' ? hexString[index + 1] - '0' : hexString[index + 1] - 'A' + 10;

                if (highDigitValue < 0 || lowDigitValue < 0 || highDigitValue > 15 || lowDigitValue > 15)
                {
                    throw new FormatException("An invalid digit was encountered. Valid hexadecimal digits are 0-9 and A-F.");
                }
                else
                {
                    byte value = (byte)((highDigitValue << 4) | (lowDigitValue & 0x0F));
                    data[index / 2] = value;
                }
            }

            return data;
        }
    }
}

以下是将代码放入计算机上@patridge的测试项目中时得到的测试结果。我还添加了一个从十六进制转换为字节数组的测试。行使我的代码的测试运行是ByteArrayToHexViaOptimizedLookupAndShift和HexToByteArrayViaByteManipulation。HexToByteArrayViaConvertToByte来自XXXX。HexToByteArrayViaSoapHexBinary是@Mykroft的答案之一。

英特尔奔腾III至强处理器

    Cores: 4 <br/>
    Current Clock Speed: 1576 <br/>
    Max Clock Speed: 3092 <br/>

将字节数组转换为十六进制字符串表示形式


ByteArrayToHexViaByteManipulation2:39,366.64个平均滴答声(超过1000次运行),22.4X

ByteArrayToHexViaOptimizedLookupAndShift:平均滴答声41588.64(运行1000多次),21.2X

ByteArrayToHexViaLookup:55,509.56平均滴答声(超过1000次运行),15.9X

ByteArrayToHexViaByteManipulation:65,349.12平均滴答声(超过1000次运行),13.5X

ByteArrayToHexViaLookupAndShift:平均滴答声86,926.87(运行1000多次),10.2倍

ByteArrayToHexStringViaBitConverter:139,353.73平均滴答声(运行1000多次),6.3X

ByteArrayToHexViaSoapHexBinary:314,598.77平均滴答声(运行1000多次),2.8X

ByteArrayToHexStringViaStringBuilderForEachByteToString:344,264.63平均滴答声(运行1000多次),2.6X

ByteArrayToHexStringViaStringBuilderAggregateByteToString:382,623.44平均滴答声(运行1000多次),2.3倍

ByteArrayToHexStringViaStringBuilderForEachAppendFormat:平均滴答声(超过1000次运行)为818,111.95,1.1X

ByteArrayToHexStringViaStringConcatArrayConvertAll:839,244.84平均滴答声(运行1000多次),1.1X

ByteArrayToHexStringViaStringBuilderAggregateAppendFormat:平均滴答声(超过1000次运行),1.0X

ByteArrayToHexStringViaStringJoinArrayConvertAll:882,710.28平均滴答声(运行1000多次),1.0X



1

另一个快速功能...

private static readonly byte[] HexNibble = new byte[] {
    0x0, 0x1, 0x2, 0x3, 0x4, 0x5, 0x6, 0x7,
    0x8, 0x9, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0,
    0x0, 0xA, 0xB, 0xC, 0xD, 0xE, 0xF, 0x0,
    0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0,
    0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0,
    0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0,
    0x0, 0xA, 0xB, 0xC, 0xD, 0xE, 0xF
};

public static byte[] HexStringToByteArray( string str )
{
    int byteCount = str.Length >> 1;
    byte[] result = new byte[byteCount + (str.Length & 1)];
    for( int i = 0; i < byteCount; i++ )
        result[i] = (byte) (HexNibble[str[i << 1] - 48] << 4 | HexNibble[str[(i << 1) + 1] - 48]);
    if( (str.Length & 1) != 0 )
        result[byteCount] = (byte) HexNibble[str[str.Length - 1] - 48];
    return result;
}
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.