JDBC批处理插入性能

我需要将几亿条记录插入mysql db。我要一次插入一百万个。请在下面查看我的代码。它似乎很慢。有什么方法可以优化它吗？

try {
        // Disable auto-commit
        connection.setAutoCommit(false);

        // Create a prepared statement
        String sql = "INSERT INTO mytable (xxx), VALUES(?)";
        PreparedStatement pstmt = connection.prepareStatement(sql);

        Object[] vals=set.toArray();
        for (int i=0; i<vals.length; i++) {
            pstmt.setString(1, vals[i].toString());
            pstmt.addBatch();
        }

        // Execute the batch
        int [] updateCounts = pstmt.executeBatch();
        System.out.append("inserted "+updateCounts.length);

我在mysql中遇到类似的性能问题，并通过在连接URL中设置useServerPrepStmts和rewriteBatchedStatements属性来解决它。

Connection c = DriverManager.getConnection("jdbc:mysql://host:3306/db?useServerPrepStmts=false&rewriteBatchedStatements=true", "username", "password");

由于我一直在尝试连接URL参数，因此我想扩展一下Bertil的答案。

rewriteBatchedStatements=true是重要参数。useServerPrepStmts默认情况下已经为false，即使将其更改为true也不会对批处理插入性能产生太大影响。

现在我认为是时候写如何rewriteBatchedStatements=true极大地提高性能了。它是通过rewriting of prepared statements for INSERT into multi-value inserts when executeBatch()（Source）实现的。这意味着不是n每次都将以下INSERT语句发送到mysql服务器executeBatch()：

INSERT INTO X VALUES (A1,B1,C1)
INSERT INTO X VALUES (A2,B2,C2)
...
INSERT INTO X VALUES (An,Bn,Cn)

它会发送一个INSERT语句：

INSERT INTO X VALUES (A1,B1,C1),(A2,B2,C2),...,(An,Bn,Cn)

您可以通过切换mysql日志记录（by SET global general_log = 1）来观察它，它将记录每个发送到mysql服务器的语句的文件。

您可以使用一个insert语句插入多行，一次执行几千个可以大大加快操作速度，也就是说INSERT INTO tbl_name (a,b,c) VALUES(1,2,3);，您不必执行例如3个形式的插入，而是这样做INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(1,2,3),(1,2,3);（可能是JDBC .addBatch（）进行了类似的优化现在-尽管mysql addBatch以前没有经过全面优化，但无论如何都只是发出单个查询-我不知道最近的驱动程序是否仍然如此）

如果您确实需要速度，请使用LOAD DATA INFILE从用逗号分隔的文件中加载数据，这样做的速度比进行数千万次插入的速度快7到8倍。

如果：

1. 这是一个新表，或者要插入的数量大于已插入的数据
2. 桌子上有索引
3. 插入期间，您不需要其他访问表的权限

然后ALTER TABLE tbl_name DISABLE KEYS可以大大提高插入速度。完成后，请运行ALTER TABLE tbl_name ENABLE KEYS以开始建立索引，这可能需要一段时间，但所需时间不及每次插入操作的时间。

您可以尝试使用DDBulkLoad对象。

// Get a DDBulkLoad object
DDBulkLoad bulkLoad = DDBulkLoadFactory.getInstance(connection);
bulkLoad.setTableName(“mytable”);
bulkLoad.load(“data.csv”);

try {
        // Disable auto-commit
        connection.setAutoCommit(false);
        int maxInsertBatch = 10000;     
        // Create a prepared statement
        String sql = "INSERT INTO mytable (xxx), VALUES(?)";
        PreparedStatement pstmt = connection.prepareStatement(sql);

        Object[] vals=set.toArray();
        int count = 1;
        for (int i=0; i<vals.length; i++) {
            pstmt.setString(1, vals[i].toString());
            pstmt.addBatch();
            if(count%maxInsertBatch == 0){
                 pstmt.executeBatch();
            }
            count++;
        }

        // Execute the batch
        pstmt.executeBatch();
        System.out.append("inserted "+count);