Java摘要与外部实用程序的结果不同


194

我编写了一个简单的Java类来生成Windows计算器文件的哈希值。我正在使用Windows 7 Professional with SP1。我曾尝试Java 6.0.29Java 7.0.03。谁能告诉我为什么我从Java与(很多!)外部实用程序和/或网站获得不同的哈希值?外部的一切都相互匹配,只有Java返回不同的结果。

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.util.LinkedHashMap;
import java.util.Map;
import java.util.Map.Entry;
import java.util.zip.CRC32;
import java.security.DigestInputStream;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

public class Checksum 
{
    private static int size = 65536;
    private static File calc = new File("C:/Windows/system32/calc.exe");

    /*
        C:\Windows\System32\calc.exe (verified via several different utilities)
        ----------------------------
        CRC-32b = 8D8F5F8E
        MD5     = 60B7C0FEAD45F2066E5B805A91F4F0FC
        SHA-1   = 9018A7D6CDBE859A430E8794E73381F77C840BE0
        SHA-256 = 80C10EE5F21F92F89CBC293A59D2FD4C01C7958AACAD15642558DB700943FA22
        SHA-384 = 551186C804C17B4CCDA07FD5FE83A32B48B4D173DAC3262F16489029894FC008A501B50AB9B53158B429031B043043D2
        SHA-512 = 68B9F9C00FC64DF946684CE81A72A2624F0FC07E07C0C8B3DB2FAE8C9C0415BD1B4A03AD7FFA96985AF0CC5E0410F6C5E29A30200EFFF21AB4B01369A3C59B58


        Results from this class
        -----------------------
        CRC-32  = 967E5DDE
        MD5     = 10E4A1D2132CCB5C6759F038CDB6F3C9
        SHA-1   = 42D36EEB2140441B48287B7CD30B38105986D68F
        SHA-256 = C6A91CBA00BF87CDB064C49ADAAC82255CBEC6FDD48FD21F9B3B96ABF019916B    
    */    

    public static void main(String[] args)throws Exception {
        Map<String, String> hashes = getFileHash(calc);
        for (Map.Entry<String, String> entry : hashes.entrySet()) {
            System.out.println(String.format("%-7s = %s", entry.getKey(), entry.getValue()));
        }
    }

    private static Map<String, String> getFileHash(File file) throws NoSuchAlgorithmException, IOException {
        Map<String, String> results = new LinkedHashMap<String, String>();

        if (file != null && file.exists()) {
            CRC32 crc32 = new CRC32();
            MessageDigest md5 = MessageDigest.getInstance("MD5");
            MessageDigest sha1 = MessageDigest.getInstance("SHA-1");
            MessageDigest sha256 = MessageDigest.getInstance("SHA-256");

            FileInputStream fis = new FileInputStream(file);
            byte data[] = new byte[size];
            int len = 0;
            while ((len = fis.read(data)) != -1) {
                crc32.update(data, 0, len);
                md5.update(data, 0, len);
                sha1.update(data, 0, len);
                sha256.update(data, 0, len);
            }
            fis.close();

            results.put("CRC-32", toHex(crc32.getValue()));
            results.put(md5.getAlgorithm(), toHex(md5.digest()));
            results.put(sha1.getAlgorithm(), toHex(sha1.digest()));
            results.put(sha256.getAlgorithm(), toHex(sha256.digest()));
        }
        return results;
    }

    private static String toHex(byte[] bytes) {
        String result = "";
        if (bytes != null) {
            StringBuilder sb = new StringBuilder(bytes.length * 2);
            for (byte element : bytes) {
                if ((element & 0xff) < 0x10) {
                    sb.append("0");
                }
                sb.append(Long.toString(element & 0xff, 16));
            }
            result = sb.toString().toUpperCase();
        }
        return result;
    }

    private static String toHex(long value) {
        return Long.toHexString(value).toUpperCase();
    }

}

我猜你的toHex是错的。如果您这样做int newElement = ((int) element) & 0xff并使用它可以解决您的问题?
zapl 2012年

64
在计算校验和的同时,将文件复制到一些临时文件中,以便您可以比较Java与使用其他工具时得到的Java。Windows可能很奇怪……我从未见过Java在计算哈希值时犯了一个错误……
Pawel Veselov 2012年

3
所有程序员都应该像这样编程!代码非常干净整洁。
马丁·考特

2
@ user567496:与其他Java SHA-1实现相比,与命令行sha1sum实用程序相比,您的代码给出了正确的SHA-1哈希值(已在Linux上进行了测试,而不是calc.exe进行了测试)
TacticalCoder

1
@Fido:在这种情况下,这不是字符集问题,因为OP正在读取原始字节:他没有解码字符。
TacticalCoder

Answers:


239

得到它了。Windows文件系统的行为取决于进程的体系结构。此文章解释了这一切 -尤其是:

但是,对系统路径进行了硬编码并在64位Windows中运行的32位应用程序呢?您可能会想,他们如何在不更改程序代码的情况下找到新的SysWOW64文件夹。答案是,仿真器透明地将对System32文件夹的调用重定向到SysWOW64文件夹,因此,即使该文件夹被硬编码到System32文件夹(如C:\ Windows \ System32),仿真器也将确保使用SysWOW64文件夹代替。因此,可以将使用System32文件夹的相同源代码编译为32位和64位程序代码,而无需进行任何更改。

尝试复制calc.exe到其他地方...然后再次运行相同的工具。您将获得与Java相同的结果。一些有关Windows文件系统给不同的数据比它给到Java的工具......我敢肯定,这是与它在Windows目录之中,因此很可能处理“不同”。

此外,我在C#中复制了它,发现它取决于您正在运行的流程体系结构。所以这是一个示例程序:

using System;
using System.IO;
using System.Security.Cryptography;

class Test
{
    static void Main()
    {
        using (var md5 = MD5.Create())
        {
            string path = "c:/Windows/System32/Calc.exe";
            var bytes = md5.ComputeHash(File.ReadAllBytes(path));
            Console.WriteLine(BitConverter.ToString(bytes));
        }
    }
}

这是一个控制台会话(减去来自编译器的聊天):

c:\users\jon\Test>csc /platform:x86 Test.cs    

c:\users\jon\Test>test
60-B7-C0-FE-AD-45-F2-06-6E-5B-80-5A-91-F4-F0-FC

c:\users\jon\Test>csc /platform:x64 Test.cs

c:\users\jon\Test>test
10-E4-A1-D2-13-2C-CB-5C-67-59-F0-38-CD-B6-F3-C9

64
有两个版本calc.exeC:\Windows\system32` and 32bit in C:\ Windows \ SysWOW64`中的64bit 。为了在32位进程中兼容,请使用C:\Windows\system32` is mapped to C:\ Windows \ SysWOW64`。64位进程将启动64位计算,32位进程将启动32位计算。毫不奇怪,它们的校验和不同。如果您将文件保持打开状态并使用handles.exe或Process Explorer查看,则会看到不同的路径。
理查德(Richard)

25
@Jon这就是所谓的文件系统重定向器。
David Heffernan'3

9
@DavidHeffernan意见各不相同,也许还有“可行”的定义。所有这些虚拟化确实违反了最小惊喜原则,并增加了成本(分配和运行时间)。其他操作系统设法以更少的障碍/泄漏抽象提供更好的32-on-64支持和更好的应用程序虚拟化(尝试在Wow64上运行垃圾收集程序,或者尝试比较OP等md5的总和,以及其他一些特殊情况)。
sehe 2012年

5
有时我想知道人们是否支持您,是因为您是乔恩·斯凯特(Jon skeet),而不仅仅是因为答案。我并不是说答案是不好的,不是什么,而是当答案是“ Windows发生了什么”(公平地说,您确实提供了链接,但仍然)时,有145票赞成票他们支持。我不是讨厌你,但这只是意味着它要等我一会儿:P
Jason Ridge

5
该博客是我找到它的方式。我原本希望能有一些Jon Skeet魔术,但我感觉就像“嘿,我可以做到的”。可能不那么快,但是您就可以了。好吧,也许我没有,但是仍然。至于上限,它几乎没有什么可安慰的,因为这仅意味着您可以在任何一天达到上限,因此,我永远无法赶上您。噢...
Jason Ridge
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.