向SLES 10服务器添加60TB存储


10

我必须向SLES 10服务器添加一些存档\临时存储。要求是呈现相当大的卷(每个卷大约9-20TB,总共大约60TB),用于存储包含大图像文件(大部分为150Meg Tiff)的存档数据(从字面上看,这是针对库的)。和大型的tarball。数据将绝对偏向于读取IO,当然> 95%,甚至可能超过99%。

存储设备已经购买-戴尔MD3000 SAS阵列菊花链与2个MD1000组成,这些MD1000完全装有2TB 7200 RPM SATA驱动器,总共45个驱动器。阵列堆栈使用两个双端口外部SAS适配器连接,即堆栈有4条路径。

我的意图是将它们配置为位于4个RAID组上的4个卷的集合,每个阵列一个热备用。所有组将是具有7个或14个驱动器的RAID 6,并且每个RAID组将显示为使用该组中所有容量的单个LUN。在SLES方面,这些文件需要格式化为XFS卷。

我对SLES(和Linux)的经验有限,我正在寻找有关此的一些建议,特别是:

  1. 在SLES 10下配置此大小的XFS卷时,是否有任何特定的注意事项,例如,根据IO配置文件,默认设置是否可以使用?
  2. 初始化\分区\格式化这些文件的最佳方法是什么?我使用Parted来设置磁盘标签,并使用YAST分区管理器(接受所有默认设置)来创建和格式化XFS卷以进行初始测试。
  3. 如何设置多路径?当我显示初始测试卷时,它显示为四个单独的设备(/ dev / sdl,/ dev / sdm,/ dev / sdn和/ dev / sdn)。我要如何将其作为单个卷使用?
  4. 在我的初始测试中,我发现现有EMC Clariion SAN卷的传输速率约为30Meg / sec。这比我预期的要低很多,即使考虑到RAID 6的写入损失,我也希望看到70-100Meg / sec的速度。
  5. 如何判断一切是否正常-我应该在哪里查找错误\警告等?例如,YAST分区编辑器需要很长时间才能启动,我想了解原因。
  6. 您会对此分区进行不同的分区和/或使用不同的文件系统吗?如果是,为什么?

该服务器为Dell 2950-我尚未查看详细规格,但顶部显示利用率最多徘徊在低个位数。

Answers:


4

在我以前的工作中,我们遇到了类似的问题。我们正在生产天文馆,每个镜架是64个MegaPixels。很多大图像。这些内容将通过计算机集群上非常激进的读取操作为每个剧院处理。

在这种情况下,服务器具有类似的存储设置。多个外部直接连接的RAID阵列。它们中的每一个都位于暴露给主机的RAID6卷中,并添加到LVM(逻辑卷管理器)下的VG(卷组)中。然后,每个节目/制作都将获得自己的LV(逻辑卷),格式为XFS,我们将根据需要随项目一起增长。

如果您的数据集是非常静态的或以这种可预测的方式增长,则此方法应该适合您。但是请注意,这种方法确实有缺点。您最终不得不对存储中的LV进行微管理。有些管理员更喜欢这种方式,但其他管理员会尽量避免使用它。但这允许您随着数据集的增长而扩展每个LV和XFS文件系统。保持XFS的体积尽可能小,以免您需要花费数年才能完成的fsck。并可以在文件系统向南的情况下充当损害控制。

免责声明:如果今天要进行设置,我将使用OpenSolaris和ZFS。b / c主要避免了微观管理问题,是一种出色的文件系统/卷管理器。因此,您可能也想看看。


4

我将被更多地包括购买更多磁盘和RAID 10。

我前不久买了数百张1TB FATA(光纤连接SATA)磁盘时遇到了可怕的问题,每张磁盘1000英镑,我每月损失5%!基本上,它们不是专为24x7占空比而设计的,您可能会有相同的问题,这就是为什么我推荐R10的原因。

RAID6是朝着正确方向迈出的一步,但如果您有能力,我将至少一个磁盘留作热备用-如果磁盘在阵列上的任何位置死掉,它将在等待您访问的同时跳入并条带化更换故障磁盘。在该主题上,请确保您至少有2或3个备用磁盘在现场准备更换,并且还确保您具有所有警报设置,以在出现24x7问题时通知您。

至于性能,那么那些2GB磁盘对于7.2k磁盘来说并不是那么松懈,而SAS可以非常快,所以我希望您提到的顺序读取的速度为70MBps-显然随机数和写入数会非常低。

抱歉,如果我看上去很消极,我已经在存储方面投入了多年的精力,只能在企业级磁盘系统上轻松入睡-我刚刚调低了48/72小时的轮班时间来固定低端设备。


2
优缺点-我没有在问题中指定,但我保留了3个热备用,每个阵列1个。不幸的是,我无法选择在不久的将来添加更多的磁盘,但是我也许能够使客户同意降低某些卷的容量。
赫尔维克,2010年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.