HP Smart Array 410 / i磁盘控制器上的Hadoop JBOD磁盘配置

8

我处于某个硬件的评估阶段，该阶段可用于设置hadoop集群。翻新了该硬件（带有Smart Array 410 / i控制器的hp G6服务器），可能我们应该/必须使用它……我们还没有。我已经阅读到410 / i控制器不允许hadoop要求进行JBOD配置，是否有人可以确认此声明？或不？似乎一种解决方法是在每个磁盘上配置raid0，是否又有人确认它或是否存在其他配置方式？谢谢罗布

— 尼亚萨
source

7

Smart Array 410 / i控制器仅允许创建2个RAID设备，而无需添加可选存储卡。因此，如果您的硬件只有2个驱动器，那就可以了。您可以将其设为2 raid0。如果您有2个以上的驱动器，则可能必须购买部件号462974-001-256MB电池支持的写缓存BBWC内存模块。如果不确定，请尝试使用配置实用程序，它会抱怨如果您需要购买内存附加组件，则允许的已配置RAID设备的数量有限制。

我最近设置了一个ZFS服务器，每个磁盘都使用RAID0模式中的12个磁盘中的一个，并且运行良好。由于您可以禁用实际RAID控制器的几乎所有功能，因此它实际上与JBOD模式相同。

— 埃里克
source

4

虽然您可以在该控制器上创建多个RAID 0以与ZFS一起使用，但是如果磁盘出现故障，您将遇到问题。除非您重新启动，否则ZFS无法识别替换项。

— ewwhite 2011年

4

这种情况类似于我为ZFS存储解决方案设计硬件时遇到的情况。ZFS是一种软件RAID，可利用服务器的资源进行磁盘管理。不建议使用硬件RAID，并且Smart Array控制器实际上不可能实现JBOD。因此，当将ProLiant系统用于ZFS时，我将Smart Array控制器替换为具有JBOD模式或基本SAS / SATA HBA的组件。

通常，这将是LSI SAS HBA（无RAID功能）。我的首选是LSI 9211-8i或9205e。

请参阅以下位置的建议：ZFS SAS / SATA控制器建议

— 怀特
source

0

虽然Pxxx范围不允许直接JBOD配置，但是如果您仅在所有磁盘上创建一个阵列，然后创建多个具有相同大小的RAID0阵列，那么就功能相似性而言，您几乎可以做到。那就是说，我对Hadoop的要求也有些怀疑，首先，它无法真正告诉BIOS所隐藏的实际磁盘配置是什么，其次，因为考虑到HP控制器的合理性，它似乎过于规范了，阵列管理磁盘的问题？

— 斩波器3
source

3

感谢您的回答，HDFS（Hadoop文件系统）通过在多个节点之间复制块而具有内置的冗余。RAID 0比HDFS使用的JBOD配置慢，因为I / O受RAID阵列中最慢磁盘的速度限制，因此JBOD上的I / O是独立的，因此平均速度大于最慢磁盘的速度。雅虎所做的测试表明，JBOD的性能优于RAID 0：markmail.org/message/xmzc45zi25htr7ry

— nysalsa，2011年

0

您可以为每个可用的物理磁盘配置RAID0。

假设如果您有8个磁盘，那么最终会遇到类似的情况（CentOS 6）：

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)

— sl0n
source

1

不要这样做。您将失去热插拔功能，并将遇到逻辑驱动器块设备枚举问题。故障磁盘==逻辑驱动器故障==更换后创建的新设备。

— ewwhite 2014年

1

“如何交换功能”？您的意思是我将无法在“在线”模式下更换故障磁盘，即在更换故障磁盘之前需要关闭服务器电源吗？关于设备的灌肠，我要检查一下，我认为这很公平。

— sl0n 2014年