Linux LUKS和文件系统的选择

12

在LUKS加密分区上运行时，哪个文件系统显示最佳性能？当LUKS分区位于SSD上时使用f2fs是否有意义，或者设备映射器抽象使f2fs的SSD优化无效？

linux filesystems luks

— 凯文
source

8

有很多建议，但是关于使用加密效率的实证结果很少。

我发现了一项这样的研究： SSD Linux基准测试：比较文件系统和加密方法。在下表中，度量为真实/用户/ sys，最佳结果以绿色显示，而最差结果以红色显示：

点击查看大图

基于这些结果，作者决定在aes-xts-plain模式下使用dm-crypt，密钥长度为128位，在btrfs中使用ssd对齐方式和 compress=lzo。

另一篇有用的文章是 Linux磁盘加密对Ubuntu 14.04 LTS的性能影响。它研究了三种安装方式下的库存安装选项（无磁盘加密），在LVM上使用LUKS的全磁盘加密方法以及基于eCryptfs的主目录加密的CPU使用情况。结果总结在下图中，结论是未加密的安装平均为26％，而LVM上的LUKS和eCryptfs加密均平均为30％至31％，因此两者的性能几乎相等。

点击查看大图

LinuX，SSD和磁盘加密是一篇没有经验性结果但有很多好的建议的文章。我建议阅读本文，这是给出的主要建议：

对于SSD分区，您至少应添加安装选项，noatime并nodiratime禁止记录文件和目录的访问时间。
使用tmpfs为临时文件设置ramdisk。
更改磁盘调度程序以使用noop或截止时间。
启用设备级写缓存
参数化浏览器，以免使用磁盘缓存。

— 哈里奇
source

5

我使用中低端系统进行了一些测试。结果如下。

总之，似乎加密不会使文件系统的优化失效。从表中可以看到，对于dmcrypt / LUKS（AES256），F2FS文件系统的速度比EXT4几乎所有默认情况下都较快的方案（在没有加密的情况下）要快。令人惊讶的是，在没有加密的情况下（即Bonnie++ Sequential Output (Per char)和Flexible I/O Tester Sequential Read测试），它也提供了明显的好处。

对于相同的场景，它在两个测试（顺序写入-Bonnie ++和FIO）中也较慢，但是无论如何都不会慢很多。你的旅费可能会改变。

由于时间有限，我没有使用AES-128bits测试EXT4，因为它对于此答案不是必不可少的。

注意：在使用AES-128位进行测试时，我观察到非常大的怪异偏差。在大多数测试中，差异最多可以达到15％，在一种情况下甚至可以达到37％（！）。不知道为什么。在测试期间，我没有将系统用于其他任何用途。~~系统（根）本身已使用AES-256加密，因此我可以想到一个涉及CPU管道/ opcache的假设解释，但是...真的还不能说清楚。~~（在通过实时CD进行测试而未解锁AES-256bit分区时，也会发生这种情况，这不是原因）。

其他地方的偏差都保持在3.6％以下（典型值为1.4％）。我采用4％的误差幅度。因此，对于这些结果，应忽略小于4％的差异。

测试设置：

SSD: Kingston SV300S37A/120G
Mainboard: ASUS Sabertooth 990FX R2.0
CPU: AMD FX-6350 @ stock
Kernel version: 4.11.3
IO Scheduler: CFQ
All tests were run using an 80GB secondary partition.

ASCII格式的结果表（忽略了“无关”的差异）：

                                                                                                                |+===================================+| 
                                                                                                                ||            % Change               ||
                                      |+=====================+=====================+=================+|         ||--------+--------+--------+--------||
                                      ||   (no encryption)   |       AES-256       |    AES-128      ||         ||   F2FS / EXT4   |Crypto / NoCrypto||
|+============+========================+----------+----------+----------+----------+------+----------||=========||--------+--------+--------+--------+|
|| Test suite | Test Method            | EXT4     | F2FS     | EXT4     | F2FS     | EXT4 | F2FS     || Unit    ||nocrypto| aes256 | aes128 | aes256 ||
|+------------+------------------------+----------+----------+----------+----------+------+----------++---------++--------+--------+--------+--------+|
|| Manual     | Read                   | 390.6    | 391.59   | 320      | 325.6    | -    | 345.36   || MiB/s   ||        |        | -11.81 | -16.85 ||
||(cp and dd) | Write (zeros)          | 501.96   | 517.17   | 96.9     | 96.7     |      | 112.16   || MiB/s   ||        |        | -78.31 | -81.30 ||
||            | Write (random data)    | 100.44   | 97.99    | 91.8     | 89.5     |      | 97.64    || MiB/s   ||        |        |        | -08.66 ||
||--------------------------------------------------------------------------------------------------------------||--------|--------|--------|--------||
||            | Seq. Output – Per char | 80.68    | 83.76    | 63.56    | 80.59    | -    | 75.56    || MiB/s   ||        | +26.79 | -09.79 |        ||
||            | Seq. Output – Block    | 498.92   | 492.42   | 104.74   | 101.13   |      | 90.9     || MiB/s   ||        |        | -81.54 | -79.46 ||
|| Bonnie++   | Seq. Output – Rewrite  | 196.4    | 198.99   | 74.69    | 70.8     |      | 70.27    || MiB/s   ||        | -05.21 | -64.69 | -64.42 ||
||            | Seq. Input - Per char  | 86.93    | 86.04    | 84.01    | 81.25    |      | 87.84    || MiB/s   ||        |        |        | -05.57 ||
||            | Seq. Input – Block     | 352.57   | 355.99   | 286.36   | 289.24   |      | 304.5    || MiB/s   ||        |        | -14.46 | -18.75 ||
||            | Random seeks           | 9452.9   | 9102.2   | 8142.3   | 8224.8   |      | 7431.4   || ops/s   ||        |        | -18.36 | -09.64 ||
||--------------------------------------------------------------------------------------------------------------||--------|--------|--------|--------||
|| Fs-mark    | 1000 files, 1 thread   | 193.7    | 236.6    | 93.6     | 103.7    | -    | 73.9     || files/s || +18.13 | +10.79 | -68.77 | -56.17 ||
||            | 5000 files, 4 threads  | 310.1    | 348.8    | 90.9     | 99       |      | 91.6     || files/s || +11.10 | +08.91 | -73.74 | -71.62 ||
||--------------------------------------------------------------------------------------------------------------||--------|--------|--------|--------||
||            | Random read            | 56.77    | 69.86    | 58.79    | 63.51    |      | 61.93    || MiB/s   ||        |        |        |        ||
||            |                        | 14188    | 17461    | 14695    | 15874    |      | 15479    || IOPS    || +23.07 | +08.02 | -11.35 | -09.09 ||
|| Flexible   |                        |          |          |          |          | -    |          ||         ||        |        |        |        ||
|| I/O        | Random write           | 59.91    | 78.99    | 52.2     | 63.75    |      | 67.75    || MiB/s   ||        |        |        |        ||
|| Tester     |                        | 14973    | 19745    | 13046    | 15935    |      | 16934    || IOPS    || +31.87 | +22.14 | -14.24 | -19.30 ||
||            |                        |          |          |          |          |      |          ||         ||        |        |        |        ||
||            | Sequential read        | 284.02   | 247.57   | 95.14    | 95.17    |      | 95.98    || MiB/s   ||        |        |        |        ||
||            |                        | 71001    | 61889    | 23781    | 23788    |      | 23991    || IOPS    || -12.83 |        | -61.24 | -61.56 ||
||            |                        |          |          |          |          |      |          ||         ||        |        |        |        ||
||            | Sequential write       | 94.06    | 100.77   | 100.63   | 96.56    |      | 86.93    || MiB/s   ||        |        |        |        ||
||            |                        | 23512    | 25188    | 25153    | 24137    |      | 21728    || IOPS    || +07.13 | -04.04 | -13.74 | -04.17 ||
|+------------+------------------------+----------+----------+----------+----------+------+----------++---------++--------+--------+--------+--------+|
_

— 2377年3月
source