150 TB并在增长，但是如何增长？

我的小组目前有两台大型存储服务器，两台NAS均运行debian linux。第一个是已经使用了几年的多合一24磁盘（SATA）服务器。我们在LVM之上设置了两个硬件RAIDS。第二台服务器是64个磁盘，分布在4个机箱中，每个机箱都通过外部SAS连接到一个硬件RAID 6。我们将XFS与LVM结合使用，以创建100TB可用存储。所有这些工作都很好，但是我们已经淘汰了这些系统。已经构建了两个这样的服务器并且仍在增长，我们希望构建一些东西，使我们在将来的增长，备份选项方面具有更大的灵活性，在磁盘故障下表现更好（检查较大的文件系统可能需要一天或更长时间），并且可以承受在高度并发的环境中（例如小型计算机集群）。我们没有系统管理支持，

因此，我们寻求的是一种相对低成本，可接受的性能存储解决方案，该解决方案将允许未来的增长和灵活的配置（请考虑具有不同池且具有不同运行特性的ZFS）。我们可能不在单个NAS的范围内。我们一直在考虑将ZFS（例如，在openindiana上）或每台服务器的btrfs与运行在其上的glusterfs组合在一起。我们所反对的只是简单地钻研子弹，并投资Isilon或3Par存储解决方案。

任何建议或经验表示赞赏。

我希望这会有所帮助。我试图不让它变成一堵完整的文字墙。:)

3Par /伊西隆

如果您可以并且愿意将固定的工时分配给承担SAN管理员角色并希望通过夜间睡眠而不是夜间工作来享受无痛生活的人，那么这就是我要走的路。

SAN可以让您完成所有单个“存储”会限制您的工作（例如，将一个纯存储闪存阵列和一个3par sata大型怪物连接到同一服务器），但是您还必须为此付费并保持良好的维护如果您想利用灵活性的话。

备择方案

Amplidata

优点：横向扩展，价格便宜，设计精美，并具有专用的读/写缓存层。这实际上可能对您来说是最好的。

RisingTideOS

他们的目标软件现在已在几乎所有的Linux存储中使用，并且比普通的linux / gluster东西可以提供更好的管理。（Imho）商业版本可能值得一看。

Gluster / btrfs

PRO：向外扩展，“ Bricks”为您提供一个非常适合管理的抽象层。

缺点：对我来说，第一个是完整的PITA。它不是很可靠，失败可能是局部的，也可能是失败的。现在，有了RedHat的控制，它实际上可能会变成可以工作的东西，甚至我遇到了可以驯服它的人，因此它可以工作很多年。第二个仍然是半实验性的。通常，FS经过“完成”后需要3-4年才能被证明是可靠的。如果您关心数据，为什么会考虑呢？说到实验，Ceph的商业支持几乎已经消失了，但是您需要坚持“ RBD”层，FS尚未经过充分测试。我想说清楚，尽管从长远来看，Ceph更具吸引力。:)

ZFS

优点：绝对可以钉在其他东西的棺材上的功能。这些功能经过精心设计（请考虑使用L2ARC），并且压缩/重复处理很有趣。具有更多的“存储集群”，这意味着也只有很少的故障，而不是一次大规模的整合热潮

缺点：维护许多小型软件而不是真实的存储。需要将它们集成起来，并花费数小时的时间来进行可靠的设置。

对于过去的横向扩展纯Linux存储解决方案，XFS + LVM路由确实是最佳选择之一。我很高兴你已经在那儿了。现在，您需要增长更多，您确实可以使用更多选择。

如您所知，那里的大型硬件供应商确实有用于存储的NAS头。实际上，这将使您与单个供应商合作以实现所有目标，并且效果很好。与DIY相比，它们是易于使用的解决方案，并且其可维护性较低。但是，它们花费很多。一方面，您将拥有更多的工程资源来解决您的主要问题，而不是基础架构问题。另一方面，如果您像大多数大学系一样，我知道人力相对于现金支付是很便宜的。

沿着DIY路线前进，您已经对可用的DIY选项有了很好的了解。ZFS / BTRFS是从XFS + LVM扩展存储的明显升级途径。我会避免使用BTRFS，直到它在Linux主线内核中被声明为“稳定”为止，由于一些主要的免费发行版将其用作默认文件系统，因此应该很快就可以使用。对于ZFS，我建议仅使用BSD基础而不是OpenIndiana，因为它存在的时间更长，并且可以解决更多问题。

Gluster是为您在此处描述的用例设计的。它可以进行复制，也可以提供具有大量存储的单个虚拟服务器。他们的Distributed Volume完全符合您的要求，因为它们将文件分布在声明的卷上的所有存储服务器上。您可以继续添加离散存储服务器以继续扩展可见卷。单一名称空间！

Gluster的陷阱是，当您的客户端可以使用Gluster客户端而不是CIFS或NFS选项访问系统时，它的工作效果最佳。由于您运行的是小型群集计算群集，因此您可能仅能够利用GlusterFS客户端。

您在这里的路线正确。

据我了解，您可以使用基于Linux SCST + FibreChannel或infiniband的SAN解决方案，这是即时构建的。作为LUN的基础，您可以在硬件RAID之上使用LVM，并在文件系统级别以下进行快照/复制（以DRBD为例）。作为文件系统，由于将ESXi放在节点之上，因此我不知道有任何好的并发解决方案，因此数据存储由ESX并发FS管理。我认为GFS2可以在该环境下工作，但不是100％肯定，因为您应该检查自己的确切要求。无论如何，一旦您的节点下有一个强大的SAN，就很容易完成工作。