我的克隆驱动器命令是否最优?


16

我已经阅读了半个小时,准备克隆硬盘。它具有多个分区,包括Windows分区。我要购买一个非常大的外部硬盘驱动器进行备份。我希望能够使用此克隆来还原整个驱动器,以防出现问题(我将进行一些操作系统重新组合)。我想学习如何使用dd来执行此操作,因为我喜欢不需要安装任何内容的低级工具。

我从ubuntu论坛中找到了以下有用的代码(使用实时CD从root shell输入):

dd if=/dev/hda of=/dev/hdb & pid=$!
while kill -USR1 $pid; do sleep 1; done

(我知道我将不得不编辑输入和输出位置。)但是我有两个问题。第一个非常有用:此命令分为两行。当然,当我在感叹号后按Enter时,它将启动该过程吗?

第二,在其他站点上,建议输入块大小。像这样:

# dd if=/dev/hda conv=sync,noerror bs=64K of=/mnt/sda1/hda.img

我对块大小一无所知。64K对吗?看起来我的块大小为以下512字节,即sudo fdisk -ul的输出:

Disk /dev/sda: 750.2 GB, 750156374016 bytes
255 heads, 63 sectors/track, 91201 cylinders, total 1465149168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0xc3ffc3ff

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *          63   143364059    71681998+   7  HPFS/NTFS/exFAT
Partition 1 does not start on physical sector boundary.
/dev/sda2       976867328  1465147391   244140032    7  HPFS/NTFS/exFAT
/dev/sda3       143364094   976867327   416751617    5  Extended
Partition 3 does not start on physical sector boundary.
/dev/sda5       143364096   162895871     9765888   82  Linux swap / Solaris
/dev/sda6       162897920   205864959    21483520   83  Linux
/dev/sda7       205867008   976867327   385500160   83  Linux

Partition table entries are not in disk order

Disk /dev/mapper/cryptswap1: 10.0 GB, 10000269312 bytes
255 heads, 63 sectors/track, 1215 cylinders, total 19531776 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x433bb3a7

Disk /dev/mapper/cryptswap1 doesn't contain a valid partition table

谢谢。


您尝试过简单dd if=/dev/hda of=hdb吗?这是显示一些细节的答案,包括160 GB的运行时: askubuntu.com/questions/435694/…–
SDsolar

Ubuntu的最新版本使用coreutils v.8.24或更高版本,其中dd包括此处
Elder Geek,

Answers:


22

进展

您列出的命令

dd if=/dev/hda of=/dev/hdb & pid=$!
while kill -USR1 $pid; do sleep 1; done

dd定期获取进度的不错的两种方法。我也使用非常相似的方法。看起来不错。在这里找到它?

具有dd:对齐和性能的块大小

您可以添加进行操作的块大小。底层块设备的块大小是多少也可以使该操作同样顺利完成,但是出于性能方面的考虑,您可能希望选择一个适合您需求的设备。

首先,是对齐的东西。如果您的块设备以512KiB的速度运行(就像闪存驱动器一样),那么很不幸(字节)运行ddbs=512因为从设备角度来看,这将导致每个块1024次写入(!)。在实践中,写操作被缓冲并一口气就不会那么糟糕,但是在同步过程中,它仍然可以放大很多写操作。

然后,在处理大量小操作时,还要考虑普通的CPU使用开销。复制大量数据时,一次获取兆字节效率更高。

我的最佳实践是从1MB开始,因为这是大多数设置的好倍数,包括RAID条带大小,LVM扩展区大小等。在装有SSD的笔记本电脑上,使用10MB作为块大小时,我倾向于看到略有改善,而我不再在我的物理硬盘上看到它。

最后一块

不必担心驱动器/卷的大小不是块大小的倍数。dd将调整将复制的最后一块以使其上的最后数据匹配。您可以通过查看输出来查看最后一个块的大小是否不同。

18335302+0 records out

+0,这是完全匹配的手段,一个+1手段,它不是。没什么大不了的。

也可以看看


1
哇,真是个彻底的答案。非常感谢您抽出宝贵的时间来做。我将通过原始链接来更新原始问题。那我要用1 MB。所以我的命令将是这样,对吗? # dd if=/dev/hda conv=sync,noerror bs=1MB of=/mnt/sda1/hda.img & pid=$! while kill -USR1 $pid; do sleep 1; done
Kit Johnson

2
@oldmankit我会这样做,bs=1M因为这是2的幂,而不是bs=1MB10的幂。但是,如果您能看到最好的,就在系统上运行一些基准测试。
gertvdijk

4
请注意,自从coreutils> = 8.24(默认为Ubuntu Xenial 16.04以上版本)发布以来,此处已不再赘述,kill -USR1 $pid现在可以通过添加status=progress开关来获得进度报告了
Elder Geek

10

正如其他人所说,没有普遍正确的块大小。对于一种情况或一种硬件而言,最佳选择对于另一种情况可能效率极低。同样,根据磁盘的运行状况,可能最好使用与“最佳”大小不同的块大小。

在现代硬件上非常可靠的一件事是,默认的512字节块大小往往比最佳的替代方法慢了近一个数量级。如有疑问,我发现64K是相当可靠的现代默认设置。尽管64K通常不是最佳的块大小,但根据我的经验,它往往比默认的要有效得多。64K也具有可靠的性能历史:您可以在2002年左右的Eug-Lug邮件列表中找到一条消息,建议块大小为64K。

为了确定最佳输出块大小,我编写了以下脚本,该脚本在不同的块大小范围内测试写入dd的128M测试文件,从默认的512字节到最大的64M。请注意,此脚本在内部使用dd,因此请谨慎使用。

dd_obs_test.sh

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_obs_testfile}
TEST_FILE_EXISTS=0
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=1; fi
TEST_FILE_SIZE=134217728

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Calculate number of segments required to copy
  COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))

  if [ $COUNT -le 0 ]; then
    echo "Block size of $BLOCK_SIZE estimated to require $COUNT blocks, aborting further tests."
    break
  fi

  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Create a test file with the specified block size
  DD_RESULT=$(dd if=/dev/zero of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync 2>&1 1>/dev/null)

  # Extract the transfer rate from dd's STDERR output
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  # Clean up the test file if we created one
  if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

  # Output the result
  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

在GitHub上查看

我仅在Debian(Ubuntu)系统和OSX Yosemite上测试了此脚本,因此可能需要进行一些调整才能在其他Unix风格上工作。

默认情况下,该命令将创建一个dd_obs_testfile在当前目录中命名的测试文件。或者,可以通过在脚本名称后提供路径来提供自定义测试文件的路径:

$ ./dd_obs_test.sh /path/to/disk/test_file

脚本的输出是经过测试的块大小及其各自的传输速率的列表,如下所示:

$ ./dd_obs_test.sh
block size : transfer rate
       512 : 11.3 MB/s
      1024 : 22.1 MB/s
      2048 : 42.3 MB/s
      4096 : 75.2 MB/s
      8192 : 90.7 MB/s
     16384 : 101 MB/s
     32768 : 104 MB/s
     65536 : 108 MB/s
    131072 : 113 MB/s
    262144 : 112 MB/s
    524288 : 133 MB/s
   1048576 : 125 MB/s
   2097152 : 113 MB/s
   4194304 : 106 MB/s
   8388608 : 107 MB/s
  16777216 : 110 MB/s
  33554432 : 119 MB/s
  67108864 : 134 MB/s

(注意:传输速率的单位将因操作系统而异)

为了测试最佳的读取块大小,您可以使用或多或少的相同过程,但不是从/dev/zero磁盘上进行读写,而是从磁盘上进行读写/dev/null。执行此操作的脚本如下所示:

dd_ibs_test.sh

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_ibs_testfile}
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=$?; fi
TEST_FILE_SIZE=134217728

# Exit if file exists
if [ -e $TEST_FILE ]; then
  echo "Test file $TEST_FILE exists, aborting."
  exit 1
fi
TEST_FILE_EXISTS=1

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi

# Create test file
echo 'Generating test file...'
BLOCK_SIZE=65536
COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))
dd if=/dev/urandom of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync > /dev/null 2>&1

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Read test file out to /dev/null with specified block size
  DD_RESULT=$(dd if=$TEST_FILE of=/dev/null bs=$BLOCK_SIZE 2>&1 1>/dev/null)

  # Extract transfer rate
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

# Clean up the test file if we created one
if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

在GitHub上查看

这种情况下的重要区别是测试文件是脚本编写的文件。请勿将此命令指向现有文件,否则现有文件将被随机数据覆盖!

对于我的特定硬件,我发现128K是HDD上的最佳输入块大小,而32K是SSD上的最佳输入块大小。

尽管此答案涵盖了我的大部分发现,但我仍然需要确定最佳的dd块大小,以至于我撰写了一篇有关此内容的博客文章。您可以在此处进行的测试中找到更多详细信息。

此StackOverflow帖子也可能有用:dd:如何计算最佳块大小?


教男人钓鱼= +1
HackSlash

@ tdg5这是一个很棒的脚本,但是在Windows 7环境中从Cygwin内部执行时,它会遇到致命错误。是否有适用于Cygwin的版本?
Hashim
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.