MySQL交易大小-太大太大了吗？

我有一个经常运行的导入过程，我希望它是一种“全有或全无”的交易，又名：交易。

涉及的方面很多，进口量可能在10万至100万以上的记录之间。这相当于有效载荷范围从几MB到几百MB的数据。

我知道临时表是另一种选择-但是此方法似乎很方便。

对于这种在提交之间进行大量数据操作的做法，是否有需要注意的警告？（提交后在典型的写/索引加载突发之外）

要注意的一个瓶颈是InnoDB日志缓冲区。该大小由innodb_log_buffer_size设置。这是MySQL文档所说的内容：

InnoDB用于写入磁盘上的日志文件的缓冲区的字节大小。默认值为8MB。较大的日志缓冲区使大型事务可以运行，而无需在事务提交之前将日志写入磁盘。因此，如果您有大事务，则使日志缓冲区更大可以节省磁盘I / O。

InnoDB日志缓冲区不应与InnoDB缓冲池混淆。它们之间的主要区别在于它们的目的。InnoDB日志缓冲区基本上将记录写入重做日志（ib_logfile0，ib_logfile1）的短期更改。InnoDB缓冲池（大小由innodb_buffer_pool_size）将要提交（如果页面脏了）并最终写入磁盘的数据和索引页面缓存到磁盘。提交后，更改页将保留在RAM中，直到通过LRU规则将其删除。

大事务必须通过日志缓冲区进行漏斗。如前所述，更大的日志缓冲区将减少磁盘I / O。只有大的提交会带来瓶颈。

您可能需要研究其他InnoDB选项进行配置。

• innodb_flush_method：这指示刷新的处理方式以及是否允许操作系统缓存对InnoDB的写入（必须在O_DSYNC和O_DIRECT之间进行实验）
• innodb_read_io_threads（使用最大值：64）
• innodb_write_io_threads（使用最大值：64）
• innodb_io_capacity（使用更高的值，例如5000或10000，但是硬件会为您填充它的最高值，换句话说，一旦分配了巨大的数字，让硬件决定IO容量）
• innodb_thread_concurrency：默认值为0。我从Percona NYC 2011的Ronald Bradford那里直接学到了将该数字保留为0。它使InnoDB可以决定可以处理的最佳并发票据数）

我还有其他关于优化InnoDB以便进一步研究的文章

• 优化InnoDB默认设置
• 您如何调整MySQL以处理繁重的InnoDB工作负载？
• 大量插入的InnoDB表不会使用我所有的CPU
• 如何提高InnoDB DELETE性能？
• MySQL-清理ibdata1