正如其他人所说,没有普遍正确的块大小。对于一种情况或一种硬件而言,最佳选择对于另一种情况可能效率极低。同样,根据磁盘的运行状况,可能最好使用与“最佳”大小不同的块大小。
在现代硬件上非常可靠的一件事是,默认的512字节块大小往往比最佳的替代方法慢了近一个数量级。如有疑问,我发现64K是相当可靠的现代默认设置。尽管64K通常不是最佳的块大小,但根据我的经验,它往往比默认的要有效得多。64K也具有可靠的性能历史:您可以在2002年左右的Eug-Lug邮件列表中找到一条消息,建议块大小为64K。
为了确定最佳输出块大小,我编写了以下脚本,该脚本在不同的块大小范围内测试写入dd的128M测试文件,从默认的512字节到最大的64M。请注意,此脚本在内部使用dd,因此请谨慎使用。
dd_obs_test.sh
:
#!/bin/bash
# Since we're dealing with dd, abort if any errors occur
set -e
TEST_FILE=${1:-dd_obs_testfile}
TEST_FILE_EXISTS=0
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=1; fi
TEST_FILE_SIZE=134217728
if [ $EUID -ne 0 ]; then
echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi
# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'
# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
# Calculate number of segments required to copy
COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))
if [ $COUNT -le 0 ]; then
echo "Block size of $BLOCK_SIZE estimated to require $COUNT blocks, aborting further tests."
break
fi
# Clear kernel cache to ensure more accurate test
[ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches
# Create a test file with the specified block size
DD_RESULT=$(dd if=/dev/zero of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync 2>&1 1>/dev/null)
# Extract the transfer rate from dd's STDERR output
TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')
# Clean up the test file if we created one
if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi
# Output the result
printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done
在GitHub上查看
我仅在Debian(Ubuntu)系统和OSX Yosemite上测试了此脚本,因此可能需要进行一些调整才能在其他Unix风格上工作。
默认情况下,该命令将创建一个dd_obs_testfile
在当前目录中命名的测试文件。或者,可以通过在脚本名称后提供路径来提供自定义测试文件的路径:
$ ./dd_obs_test.sh /path/to/disk/test_file
脚本的输出是经过测试的块大小及其各自的传输速率的列表,如下所示:
$ ./dd_obs_test.sh
block size : transfer rate
512 : 11.3 MB/s
1024 : 22.1 MB/s
2048 : 42.3 MB/s
4096 : 75.2 MB/s
8192 : 90.7 MB/s
16384 : 101 MB/s
32768 : 104 MB/s
65536 : 108 MB/s
131072 : 113 MB/s
262144 : 112 MB/s
524288 : 133 MB/s
1048576 : 125 MB/s
2097152 : 113 MB/s
4194304 : 106 MB/s
8388608 : 107 MB/s
16777216 : 110 MB/s
33554432 : 119 MB/s
67108864 : 134 MB/s
(注意:传输速率的单位将因操作系统而异)
为了测试最佳的读取块大小,您可以使用或多或少的相同过程,但不是从/dev/zero
磁盘上进行读写,而是从磁盘上进行读写/dev/null
。执行此操作的脚本如下所示:
dd_ibs_test.sh
:
#!/bin/bash
# Since we're dealing with dd, abort if any errors occur
set -e
TEST_FILE=${1:-dd_ibs_testfile}
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=$?; fi
TEST_FILE_SIZE=134217728
# Exit if file exists
if [ -e $TEST_FILE ]; then
echo "Test file $TEST_FILE exists, aborting."
exit 1
fi
TEST_FILE_EXISTS=1
if [ $EUID -ne 0 ]; then
echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi
# Create test file
echo 'Generating test file...'
BLOCK_SIZE=65536
COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))
dd if=/dev/urandom of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync > /dev/null 2>&1
# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'
# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
# Clear kernel cache to ensure more accurate test
[ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches
# Read test file out to /dev/null with specified block size
DD_RESULT=$(dd if=$TEST_FILE of=/dev/null bs=$BLOCK_SIZE 2>&1 1>/dev/null)
# Extract transfer rate
TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')
printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done
# Clean up the test file if we created one
if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi
在GitHub上查看
这种情况下的重要区别是测试文件是脚本编写的文件。请勿将此命令指向现有文件,否则现有文件将被随机数据覆盖!
对于我的特定硬件,我发现128K是HDD上的最佳输入块大小,而32K是SSD上的最佳输入块大小。
尽管此答案涵盖了我的大部分发现,但我仍然需要确定最佳的dd块大小,以至于我撰写了一篇有关此内容的博客文章。您可以在此处进行的测试中找到更多详细信息。
此StackOverflow帖子也可能有用:dd:如何计算最佳块大小?
dd if=/dev/hda of=hdb
吗?这是显示一些细节的答案,包括160 GB的运行时: askubuntu.com/questions/435694/…–