计算MD5哈希值是否比SHA系列函数的CPU强度低？

115

是否在“标准”笔记本电脑x86硬件上计算MD5哈希值比使用SHA-1或SHA-2占用的CPU少？我对一般信息感兴趣，而不是特定芯片的信息。

更新： 就我而言，我对计算文件的哈希值感兴趣。如果文件大小很重要，我们假设其大小为300K。

hash  cryptography  md5  sha1  sha2 
— 米克
source
这不是您的问题的答案，但是Skein的支持者提出了它的速度，并且肯定不比这时的MD5寿命终止要弱。在您必须哈希的消息非常短的情况下，速度对于加密哈希函数可能是不利的（特别是，其他人可以实现它的速度，而不是在笔记本电脑上运行的速度）。schneier.com/skein1.2.pdf
— Pascal Cuoq 2010年
4
@Pascal：Skein并不是SHA-3候选者中最快的，特别是在32位平台上。在64位x86上，Skein达到约300 MB / s（Skein-512比Skein-256稍快），与SHA-1相当，但是在32位模式下，性能下降到不足60 MB / s。 s，比SHA-256慢两倍。另一方面，SHA-3的另一个候选SHABAL在32位和64位平台上提供与SHA-1类似的性能。
— Thomas Pornin

Answers:

123

是的，MD5占用的CPU较少。在我的Intel x86（Core 2 Quad Q6600，2.4 GHz，使用一个内核）上，我以32位模式获得此信息：

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

而在64位模式下：

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

对于“长”消息，数字以每秒兆字节为单位（对于超过8 kB的消息，这是您获得的结果）。这与sphlib一起使用，后者是C（和Java）中的哈希函数实现的库。所有实现均来自同一作者（我），并且在优化方面做出了可比的努力。因此，速度差异可以视为功能的真正内在因素。

作为比较点，请考虑最近使用的硬盘将以大约100 MB / s的速度运行，而通过USB传输的任何东西都将低于60 MB / s。即使SHA-256在此处显示为“慢速”，但对于大多数用途而言它还是足够快的。

请注意，OpenSSL包含SHA-512的32位实现，这比我的代码要快得多（但不如64位SHA-512快），因为OpenSSL实现是在汇编中并使用SSE2寄存器，这不能SHA-512是这四个功能中唯一受益于SSE2实现的功能。

编辑：在此页面（存档）上，可以找到有关许多哈希函数速度的报告（单击“ Telechargez维护者”链接）。该报告用法语撰写，但其中大部分表格和数字充满，数字是国际性的。已实现的哈希函数不包括SHA-3候选对象（SHABAL除外），但我正在研究它。

— 托马斯·波宁
source
2
我认为您的基准测试没有用。基于等效但不完全优化的两种算法的速度比较是无关紧要的。在现实世界中，您不会滚动自己的实现，而是使用完全优化的实现。从这些结果应该进行比较。
— Edward Brey 2015年
10
@EdwardBrey实际上，这些几乎已经完全被优化。实际上，他的md5实现比OpenSSL提供的实现快得多，因此，并非每个实现都可以像您所说的那样在“真实世界”中得到优化。同样，尽管这些都不是完美的（您是正确的），恕我直言，它们还是对这个特定问题的完美答案。
— Gaspa79 2016年
50

在我的2012 MacBook Air（Intel Core i5-3427U，2x 1.8 GHz，2.8 GHz Turbo）上，SHA-1略快于MD5（在64位模式下使用OpenSSL）：

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

更新： 10个月后，使用OS X 10.9，SHA-1在同一台计算机上的运行速度变慢：

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

第二次更新：在OS X 10.10上，SHA-1速度回到了10.8级：

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

第三次更新：带有LibreSSL的OS X 10.14快得多（仍在同一台计算机上）。SHA-1仍然排名第一：

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k
— 恩韦恩霍夫
source
2
很奇怪，我的情况和您的情况相同，而基准测试结果却相反。含8192字节：md5 305549.52k; sha1 204668.57k
— Carlos Fontes
3
嗯，我在同一台机器上也得到了与去年不同的结果：md5 381756.70k，sha1 313881.86k。可能是因为升级到10.9（OpenSSL 0.9.8y）。
— nwellnhof 2014年
6
那是一个很好的答案。它表明你在乎。感谢男人的分享
— M在
13

真正的答案是：这取决于

有几个因素需要考虑，最明显的是：运行这些算法的CPU和算法的实现。

例如，我和我的朋友都运行完全相同的openssl版本，并且使用不同的Intel Core i7 cpus会得到略有不同的结果。

我的测试是在3.40GHz的Intel®Core™i7-2600 CPU上进行的

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

以及他的Intel（R）Core（TM）i7 CPU 920 @ 2.67GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

我们俩都从ArchLinux官方软件包中运行与OpenSSL 1.0.1j完全相同的二进制文件（2014年10月15日）。

我的看法是，随着sha1安全性的提高，CPU设计人员更有可能提高sha1的速度，并且与md5sum相比，更多的程序员将致力于算法的优化。

我猜md5将不再使用，因为它似乎比sha1没有优势。我还在真实文件上测试了一些情况，两种情况下的结果始终相同（可能受磁盘I / O限制）。

大型4.6GB文件的md5sum与同一文件的sha1sum花费的时间完全相同，许多小文件（同一目录中的488）也是如此。我进行了十多次测试，因此他们获得了相同的结果。

-

对此进行进一步调查将非常有趣。我想周围会有一些专家可以为为什么sha1在较新的处理器上比md5变得更快提供可靠的答案。

— 约翰里德
source
6
您非常需要购买SSD（和/或删除McAfee）：）
— Maarten Bodewes 2014年
1
@owlstead该死，当我尝试这样做时，我忘记了关闭m'y Linux盒的“慢模式”。
— 约翰里德（Johnride）2014年
4
@Johnride，不要从文件进行基准测试。从内存中的数据运行它甚至更简单，只需重新哈希相同的值即可。
— 罗比诺
1
@Robino就是这样openssl speed做的，这是第一个也是最有意义的基准。
— 约翰里德（Johnride）'17年
1

MD5还受益于SSE2的使用，签出BarsWF，然后告诉我没有。所需要的只是一点汇编知识，您可以制作自己的MD5 SSE2例程。但是，对于大量吞吐量，在哈希处理期间要权衡速度，而不是将输入数据重新安排为与所使用的SIMD指令兼容所花费的时间。

— 建设者鲍勃
source
3
乍看之下，尚不清楚是使用SSE2来加速一个 MD5线程还是将几个并行的MD5线程配对。对于大多数算法而言，后者当然很容易，但是这并不算得上SSE2的好处，因为通常只需要一个数据流即可。
— lapo 2011年
0

在Power9上，sha1sum比md5sum快很多

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s
— 巴阿巴里
source
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.