用Java获取文件的MD5校验和


508

我正在寻找使用Java获取文件的MD5校验和。我真的很惊讶,但是我找不到任何能显示如何获取文件的MD5校验和的东西。

怎么做?


也许会有所帮助。您也可以查找规格,但是由于情况复杂,需要做更多的工作。
waynecolvin

4
请记住,根据最近的研究,“应将MD5视为已加密,不适合进一步使用”。en.wikipedia.org/wiki/MD5
Zakharia Stanley

80
MD5不再被认为是加密安全的,但是它足以验证文件一致性,并且比SHA更快。
jiggy

2
@ZakhariaStanley这是有关校验和的问题。
iPherian

文件上MD5校验和的规范用法是避免恶意替换分布式文件。那是不安全的地方。但是在无需担心敌对利用的情况下,它是非常合适的。
基思·泰勒

Answers:


540

有一个输入流装饰器,java.security.DigestInputStream因此您可以像往常一样在使用输入流的同时计算摘要,而不必对数据进行额外的传递。

MessageDigest md = MessageDigest.getInstance("MD5");
try (InputStream is = Files.newInputStream(Paths.get("file.txt"));
     DigestInputStream dis = new DigestInputStream(is, md)) 
{
  /* Read decorated stream (dis) to EOF as normal... */
}
byte[] digest = md.digest();

4
我同意,如果您已经在对字节做一些事(即从HTTP连接读取它们),则可以通过一种非常优雅的方式动态地计算校验和。
Marc Novakowski

2
@AlPhaba您是否将isa InputStream或a 声明为FileInputStream?听起来像您使用过的FileInputStream,这将导致此错误。
erickson

1
@barwnikk在Java 8中工作正常MethodNotFound。也许您在谈论编译器错误?无论如何,如果对您不起作用,则是本地配置问题或其他代码问题。
erickson 2014年

4
@barwnikk同样,这是您的本地配置问题。这是有效的Java 7和Java 8代码。如果您坚持使用2006年以来的工具,则必须进行调整。
erickson 2014年

5
@erickson您没有使用文件内容更新MessageDigest对象。Rt?此代码将始终打印相同的摘要。
sunil 2014年

302

使用DigestUtils阿帕奇共享编解码器库:

try (InputStream is = Files.newInputStream(Paths.get("file.zip"))) {
    String md5 = org.apache.commons.codec.digest.DigestUtils.md5Hex(is);
}

1
在我的android代码中对我不起作用,我得到此错误... java.lang.NoSuchMethodError: (DigestUtils.java:215)– 2012
JPM

@JPM假设您已下载并将其commons-codec.jar放在您的类路径中?
Leif Gruenwoldt'5

是的,在那里,我导出了我的android项目。.我可以单步执行代码,并且类在源文件中。
JPM 2012年

1
我有同样的问题,但是它由以下代码解决:FileInputStream fis = new FileInputStream(new File(filePath)); 字节数据[] = org.apache.commons.codec.digest.DigestUtils.md5(fis); char md5Chars [] = Hex.encodeHex(data); 字符串md5 = String.valueOf(md5Chars);`
Dmitry_L

1
真好!对于新项目,在添加新依赖项之前,我总是三思而后行,但是对于现有项目,我只需要检查库是否已经可以使用它。+1
OscarRyz

164

Real的Java-How-to中有一个使用MessageDigest类的示例。

在该页面上查看使用CRC32和SHA-1的示例。

import java.io.*;
import java.security.MessageDigest;

public class MD5Checksum {

   public static byte[] createChecksum(String filename) throws Exception {
       InputStream fis =  new FileInputStream(filename);

       byte[] buffer = new byte[1024];
       MessageDigest complete = MessageDigest.getInstance("MD5");
       int numRead;

       do {
           numRead = fis.read(buffer);
           if (numRead > 0) {
               complete.update(buffer, 0, numRead);
           }
       } while (numRead != -1);

       fis.close();
       return complete.digest();
   }

   // see this How-to for a faster way to convert
   // a byte array to a HEX string
   public static String getMD5Checksum(String filename) throws Exception {
       byte[] b = createChecksum(filename);
       String result = "";

       for (int i=0; i < b.length; i++) {
           result += Integer.toString( ( b[i] & 0xff ) + 0x100, 16).substring( 1 );
       }
       return result;
   }

   public static void main(String args[]) {
       try {
           System.out.println(getMD5Checksum("apache-tomcat-5.5.17.exe"));
           // output :
           //  0bb2827c5eacf570b6064e24e0e6653b
           // ref :
           //  http://www.apache.org/dist/
           //          tomcat/tomcat-5/v5.5.17/bin
           //              /apache-tomcat-5.5.17.exe.MD5
           //  0bb2827c5eacf570b6064e24e0e6653b *apache-tomcat-5.5.17.exe
       }
       catch (Exception e) {
           e.printStackTrace();
       }
   }
}

70
是的... 11年后仍然在线!:-)
RealHowTo

Real的Java-How-To上的示例完美运行,并且易于实现。
bakoyaro 2011年

读取循环有点笨拙。read()不会返回零,并且a do/while确实不合适。
罗恩侯爵

10
@EJP感谢您的及时反馈。
比尔蜥蜴

byte []缓冲区=新的byte [1024]; 我们可以将大小从1024更改为更优化吗?
Jalpesh

90

com.google.common.hash API提供:

  • 适用于所有哈希函数的统一的用户友好型API
  • murmur3的可植入32位和128位实现
  • md5(),sha1(),sha256(),sha512()适配器,仅更改一行代码即可在它们之间切换,并发出杂音。
  • goodFastHash(int bits),当您不关心使用什么算法时
  • HashCode实例的通用实用程序,例如CombineOrdered / CombineUnordered

阅读用户指南(IO解释哈希解释)。

对于您的用例,Files.hash()计算并返回文件的摘要值。

例如一个 摘要计算(将SHA-1更改为MD5以获取MD5摘要)

HashCode hc = Files.asByteSource(file).hash(Hashing.sha1());
"SHA-1: " + hc.toString();

注意 比快得多 ,所以用 如果您不需要密码安全的校验和。另请注意 不应使用它来存储密码等,因为它很容易被暴力破解,以供密码使用 要么 代替。

为了使用散列进行长期保护, Merkle签名方案增加了安全性,并且由欧盟委员会赞助的后量子密码学研究小组建议使用该密码技术来长期保护免受量子计算机的侵害(参考)。

注意 具有更高的碰撞率。


如上所述,Files.hash的哪一部分不覆盖Files.hash?
oluies 2015年

2
Files.hash()为废弃的标记,推荐的方法是:Files.asByteSource(file).hash(Hashing.sha1())
erkfel

1
截至2018年1月Hashing.sha1()已被标记为已弃用。Hashing.sha256()建议使用此功能。来源
MagicLegend

58

使用nio2(Java 7+)且不使用外部库:

byte[] b = Files.readAllBytes(Paths.get("/path/to/file"));
byte[] hash = MessageDigest.getInstance("MD5").digest(b);

要将结果与预期校验和进行比较:

String expected = "2252290BC44BEAD16AA1BF89948472E8";
String actual = DatatypeConverter.printHexBinary(hash);
System.out.println(expected.equalsIgnoreCase(actual) ? "MATCH" : "NO MATCH");

@Arash绝对是-谢谢。我将JDK Files类和Guava混合在一起。
亚述,

我比erickson更喜欢此解决方案,因为它可以与Optionals结合使用,以使用纯函数式编程
Gabriel Hernandez

2
对于大文件,这将占用大量内存,因为读取了整个文件,然后将其馈送到摘要中,而不是读取块并在读取时“消化”它们。
伯尼

39

Guava现在提供了一个新的,一致的哈希API,它比JDK中提供的各种哈希API更友好。请参阅哈希说明。对于文件,您可以轻松获得MD5和,CRC32(版本14.0+)或许多其他哈希:

HashCode md5 = Files.hash(file, Hashing.md5());
byte[] md5Bytes = md5.asBytes();
String md5Hex = md5.toString();

HashCode crc32 = Files.hash(file, Hashing.crc32());
int crc32Int = crc32.asInt();

// the Checksum API returns a long, but it's padded with 0s for 32-bit CRC
// this is the value you would get if using that API directly
long checksumResult = crc32.padToLong();

32

好。我必须补充。对于已经具有Spring和Apache Commons依赖项或计划添加依赖项的人,可以执行以下一种实现:

DigestUtils.md5DigestAsHex(FileUtils.readFileToByteArray(file))

对于和仅Apache Commons选项(credit @duleshi):

DigestUtils.md5Hex(FileUtils.readFileToByteArray(file))

希望这对某人有帮助。


1
这是DigestUtils.md5Hex(FileUtils.readFileToByteArray(file))
duleshi

基于David Onter公用程序的解决方案更好,因为它不会将整个文件读入内存。
Fran Marzoa

至少对于Spring 5 您而言,您必须DigestUtils.md5Digest(InputStream inputStream)计算MD5摘要,并且DigestUtils.md5DigestAsHex(InputStream inputStream)对于MD5摘要方法的十六进制字符串表示形式,而无需将整个文件读入内存。
Mike Shauneu

24

没有使用Java 7的第三方库的简单方法

String path = "your complete file path";
MessageDigest md = MessageDigest.getInstance("MD5");
md.update(Files.readAllBytes(Paths.get(path)));
byte[] digest = md.digest();

如果需要打印此字节数组。用途如下

System.out.println(Arrays.toString(digest));

如果您需要此摘要中的十六进制字符串。用途如下

String digestInHex = DatatypeConverter.printHexBinary(digest).toUpperCase();
System.out.println(digestInHex);

其中DatatypeConverter是javax.xml.bind.DatatypeConverter


为什么toUpperCase呢?
EdgeCaseBerg 2015年

@edgecaseberg只是为了将十六进制字符串打印到控制台时看起来不错
sunil

我发现我需要使用toLowerCase()而不是toUpperCase()。
辉煌

13

我最近不得不对一个动态字符串执行此操作,MessageDigest可以以多种方式表示哈希。要像使用md5sum命令一样获得文件的签名,我必须执行以下操作:

try {
   String s = "TEST STRING";
   MessageDigest md5 = MessageDigest.getInstance("MD5");
   md5.update(s.getBytes(),0,s.length());
   String signature = new BigInteger(1,md5.digest()).toString(16);
   System.out.println("Signature: "+signature);

} catch (final NoSuchAlgorithmException e) {
   e.printStackTrace();
}

显然,这没有回答您关于如何专门针对文件的问题,上面的回答很好地解决了这一问题。我只是花了很多时间使总和看起来像大多数应用程序的显示,并认为您可能会遇到同样的麻烦。


签名是十六进制格式的摘要。我也发现十六进制表示形式可以工作,正如您所说,其他表示形式不起作用。谢谢你提出来。
艾米特

11
public static void main(String[] args) throws Exception {
    MessageDigest md = MessageDigest.getInstance("MD5");
    FileInputStream fis = new FileInputStream("c:\\apache\\cxf.jar");

    byte[] dataBytes = new byte[1024];

    int nread = 0;
    while ((nread = fis.read(dataBytes)) != -1) {
        md.update(dataBytes, 0, nread);
    };
    byte[] mdbytes = md.digest();
    StringBuffer sb = new StringBuffer();
    for (int i = 0; i < mdbytes.length; i++) {
        sb.append(Integer.toString((mdbytes[i] & 0xff) + 0x100, 16).substring(1));
    }
    System.out.println("Digest(in hex format):: " + sb.toString());
}

或者您可能会获得更多信息 http://www.asjava.com/core-java/java-md5-example/



9

我们使用的代码与上一篇文章中的上述代码类似,使用

...
String signature = new BigInteger(1,md5.digest()).toString(16);
...

但是,请注意BigInteger.toString()此处的用法,因为它将截断前导零...(例如,try s = "27",checksum应该是"02e74f10e0327ad868d138f2b4fdd6f0"

我第二次使用Apache Commons Codec的建议,我用它替换了我们自己的代码。


1
哇,我正在研究一个问题,其中MD5东西对所有东西都可以正常工作,除了文件只给我们提供31个十六进制数字的输出,而md5checksums却失败了。前导0的截断是一个巨大的痛苦...感谢您的注意。
Mike

8
public static String MD5Hash(String toHash) throws RuntimeException {
   try{
       return String.format("%032x", // produces lower case 32 char wide hexa left-padded with 0
      new BigInteger(1, // handles large POSITIVE numbers 
           MessageDigest.getInstance("MD5").digest(toHash.getBytes())));
   }
   catch (NoSuchAlgorithmException e) {
      // do whatever seems relevant
   }
}

8

非常快速,干净的Java方法,不依赖外部库:

(如果需要,只需用SHA-1,SHA-256,SHA-384或SHA-512替换MD5)

public String calcMD5() throws Exception{
        byte[] buffer = new byte[8192];
        MessageDigest md = MessageDigest.getInstance("MD5");

        DigestInputStream dis = new DigestInputStream(new FileInputStream(new File("Path to file")), md);
        try {
            while (dis.read(buffer) != -1);
        }finally{
            dis.close();
        }

        byte[] bytes = md.digest();

        // bytesToHex-method
        char[] hexChars = new char[bytes.length * 2];
        for ( int j = 0; j < bytes.length; j++ ) {
            int v = bytes[j] & 0xFF;
            hexChars[j * 2] = hexArray[v >>> 4];
            hexChars[j * 2 + 1] = hexArray[v & 0x0F];
        }

        return new String(hexChars);
}


6

标准Java运行时环境方式

public String checksum(File file) {
  try {
    InputStream fin = new FileInputStream(file);
    java.security.MessageDigest md5er =
        MessageDigest.getInstance("MD5");
    byte[] buffer = new byte[1024];
    int read;
    do {
      read = fin.read(buffer);
      if (read > 0)
        md5er.update(buffer, 0, read);
    } while (read != -1);
    fin.close();
    byte[] digest = md5er.digest();
    if (digest == null)
      return null;
    String strDigest = "0x";
    for (int i = 0; i < digest.length; i++) {
      strDigest += Integer.toString((digest[i] & 0xff) 
                + 0x100, 16).substring(1).toUpperCase();
    }
    return strDigest;
  } catch (Exception e) {
    return null;
  }
}

结果等于linux md5sum实用程序。


6

这是一个简单的函数,它包装了Sunil的代码,因此它将File作为参数。该函数不需要任何外部库,但确实需要Java 7。

import java.io.File;
import java.io.IOException;
import java.nio.file.Files;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

import javax.xml.bind.DatatypeConverter;

public class Checksum {

    /**
     * Generates an MD5 checksum as a String.
     * @param file The file that is being checksummed.
     * @return Hex string of the checksum value.
     * @throws NoSuchAlgorithmException
     * @throws IOException
     */
    public static String generate(File file) throws NoSuchAlgorithmException,IOException {

        MessageDigest messageDigest = MessageDigest.getInstance("MD5");
        messageDigest.update(Files.readAllBytes(file.toPath()));
        byte[] hash = messageDigest.digest();

        return DatatypeConverter.printHexBinary(hash).toUpperCase();
    }

    public static void main(String argv[]) throws NoSuchAlgorithmException, IOException {
        File file = new File("/Users/foo.bar/Documents/file.jar");          
        String hex = Checksum.generate(file);
        System.out.printf("hex=%s\n", hex);            
    }


}

输出示例:

hex=B117DD0C3CBBD009AC4EF65B6D75C97B

3

如果您要使用ANT进行构建,这简直是死路一条。将以下内容添加到您的build.xml中:

<checksum file="${jarFile}" todir="${toDir}"/>

其中jarFile是您要针对其生成MD5的JAR,toDir是您要放置MD5文件的目录。

更多信息在这里。


3

Google番石榴提供了新的API。在下面找到一个:

public static HashCode hash(File file,
            HashFunction hashFunction)
                     throws IOException

Computes the hash code of the file using hashFunction.

Parameters:
    file - the file to read
    hashFunction - the hash function to use to hash the data
Returns:
    the HashCode of all of the bytes in the file
Throws:
    IOException - if an I/O error occurs
Since:
    12.0

3

这是一个方便的变体,它利用了InputStream.transferTo()Java 9和OutputStream.nullOutputStream()Java 11的功能。它不需要外部库,也不需要将整个文件加载到内存中。

public static String hashFile(String algorithm, File f) throws IOException, NoSuchAlgorithmException {
    MessageDigest md = MessageDigest.getInstance(algorithm);

    try(BufferedInputStream in = new BufferedInputStream((new FileInputStream(f)));
        DigestOutputStream out = new DigestOutputStream(OutputStream.nullOutputStream(), md)) {
        in.transferTo(out);
    }

    String fx = "%0" + (md.getDigestLength()*2) + "x";
    return String.format(fx, new BigInteger(1, md.digest()));
}

hashFile("SHA-512", Path.of("src", "test", "resources", "some.txt").toFile());

退货

"e30fa2784ba15be37833d569280e2163c6f106506dfb9b07dde67a24bfb90da65c661110cf2c5c6f71185754ee5ae3fd83a5465c92f72abd888b03187229da29"

2
public static String getMd5OfFile(String filePath)
{
    String returnVal = "";
    try 
    {
        InputStream   input   = new FileInputStream(filePath); 
        byte[]        buffer  = new byte[1024];
        MessageDigest md5Hash = MessageDigest.getInstance("MD5");
        int           numRead = 0;
        while (numRead != -1)
        {
            numRead = input.read(buffer);
            if (numRead > 0)
            {
                md5Hash.update(buffer, 0, numRead);
            }
        }
        input.close();

        byte [] md5Bytes = md5Hash.digest();
        for (int i=0; i < md5Bytes.length; i++)
        {
            returnVal += Integer.toString( ( md5Bytes[i] & 0xff ) + 0x100, 16).substring( 1 );
        }
    } 
    catch(Throwable t) {t.printStackTrace();}
    return returnVal.toUpperCase();
}
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.