那里有分布式SAN /存储系统吗?[关闭]


9

与其他许多地方一样,我们要求用户不要将文件保存到其本地计算机上。相反,我们建议将它们放在文件服务器上,以便其他人(具有适当的权限)可以使用它们,并正确备份文件。

这样的结果是,大多数用户都有大的硬盘驱动器,这些硬盘驱动器主要是空的。现在是2010年。肯定有一个系统可以让您将空白空间变成虚拟SAN或文档库吗?

我设想的是一个客户端程序,该程序被推送到与中央服务器配合使用的用户PC上。该服务器看起来像普通文件服务器一样面向用户,但是它并没有保留整个文件内容,而只是保留了在各种用户PC中可以找到这些文件的位置的记录。然后,它与合适的客户端进行协调以处理文件请求。客户端软件将能够直接响应此类请求,并且足够智能以在本地缓存最近的文件。为了实现冗余,服务器可以确保将文件复制到多台PC,也许允许您在不同位置定义组,以便整个存储库的实例位于每个组中,以防止在一栋建筑物中发生灾难而将其他所有建筑物都拆除。

显然,您不会将数据库服务器指向此处,但是对于更简单的事情,我看到了几个优点:

  • 文件通常可以从较近的(或本地)计算机上传输。
  • 分布网络连接,而不是将所有文件传输集中在单个连接上
  • 磁盘空间会随着公司的增长而自动增长。
  • 最终应该更便宜,因为您不需要保留单独的磁盘集

我也可以看到一些缺点:

  • 如果计算机在繁忙时段必须服务或接受大文件传输,则有时会降低用户PC性能。
  • 必须多次在网络上传播写入内容(尽管我怀疑这并不是什么大问题,因为在大多数地方阅读比写东西要多)
  • 仍然需要偶尔发送异地数据的完整副本的方法,这将使差异化变得非常困难

可以将其视为完全位于公司LAN内并利用现有用户设备的云存储系统。

我们旧的主文件服务器将在大约2年后退役,我正在考虑将其替换为小型SAN。我们当前的文件服务器正在使用大约400GB的1TB共享。由于备份空间有限,我们仅将其缩小了。更换后,我希望将其可用空间至少扩展到4TB,如果价格下降到我期望的水平,则可能会更多。我在想像这样的东西会更合适。作为一所学校,我们有几个计算机实验室,我可以让它们离开运行,这对于为这样的系统添加一点额外的冗余非常合适。

除极少数情况外,我们的用户所用的120GB硬盘不足40GB,这意味着我可以轻松地为每台计算机保留65GB。而且这只会增加,因为较新的机器将配备250Gb驱动器,甚至很快就会变得更大。在更换文件服务器时,考虑到我们的台式机更换时间表,我希望这样的系统可以提供5TB的可用存储空间,甚至还可以提供冗余和历史记录。

不幸的是,我能找到的最接近的东西是Dienst,那只是一篇可以追溯到1994年的论文。我是在搜索中使用了错误的流行词,还是真的不存在?如果没有,那么我是否缺少很大的缺点?


1
与其购买大型磁驱动器,不如考虑使用较小的固态驱动器,而不是最终用户系统。
jftuga 2011年

你可能想看看CCNx开发了约范·雅各布森一队在PARC。相关:SWIFT项目
比特币(

Answers:


3

在我看来,您正在描述AFS,最常见的实现是OpenAFS。此处描述了关键的OpenAFS概念:http : //docs.openafs.org/UserGuide/ch01.html#HDRWQ3

AFS是:

  • 分散式。文件系统是多台计算机,但仍使用统一的名称空间,因此分布式特性对客户端计算机是透明的。
  • 多余的。文件可以一次存在于多个服务器节点上,因此丢失几个服务器节点不会导致任何数据的不可访问性。
  • 可扩展 显然,某些“企业”实现跨越多达25,000个节点。

+1可能不符合他的要求。
华纳2010年

似乎缺少了什么?我认为这将是一个完美的选择。或至少90%适合。
Insyte'4

嗯,不支持在Windows上运行AFS服务器这一事实可能与它有关。docs.openafs.org/ReleaseNotesWindows/ch03s11.html
mfinni 2010年

嗯 这与他们在这里所说的不一样: openafs.org/windows.html
Insyte'4

1
用于客户端软件。您要Windows框连接到现有的AFS共享吗?去吧。您要在Windows上托管AFS共享吗?不支持。
mfinni'4

2

是的,当您正确使用集中式存储时,最终用户桌面系统中的大磁盘将无法使用。那好吧。使用假设的桌面网络分布式NAS的一些缺点:

  1. 它必须处理用户计算机脱机导致的性能下降。今天没有人进来并且他们的机器关闭了?更好地希望将那里的文档分发到已打开的计算机上。今晚有人在工作,他们的机器是唯一的机器吗?真不幸,对不起。除非您还将所有内容都复制到一个真实的文件服务器中,否则您获得了什么?

  2. 一切都必须具有良好的加密-否则,老板的文件(包含他的兑现计划)或HR文档(显示每个人的薪水)将被复制到邮递员的机器Jimmy中。他在其上运行LimeWire。看到这是怎么回事?


3
另外:他们的性能很差,网络将无法达到最高速度,SAN在傍晚会宕机,这很糟糕,无法进行维护运行。而是摆脱光盘并从SAN引导;)
TomTom,2010年

1

诸如CleverSafe(既有开源版本又有商业版本)之类的东西大部分可以满足您的要求,但是管理非常不可靠的节点可能是个问题。CleverSafe处理多个节点中断,但对于使用桌面作为存储节点会看到的那种“不断变动”的节点,可能还不够快。

我认为过去我阅读过的学术论文中也有类似的解决方案,但是CleverSafe似乎是一个真正有效的产品,而不仅仅是一个原型。该公司自2004年成立至今。


1

SANsymphony 7.0存储虚拟化软件

以下是他们网站上引用的所有内容:

主要特点

与设备无关的虚拟磁盘池,同步镜像(HA),高速缓存,异步远程复制,精简配置,自动分层,在线快照,无中断磁盘迁移,连续数据保护(CDP)

访问类型

阻止物理或虚拟SAN上的磁盘I / O。底层Windows Server操作系统通过NFS / CIFS协议提供文件系统访问。可以将两种访问方法结合起来以满足高可用性,统一存储(SAN / NAS)的要求。

支持的主机环境

运行标准Windows操作系统的计算机系统,包括(Windows Server 2000、2003、2008,Hyper-V,Windows XP,Windows 7),UNIX,HP-UX,Sun Solaris,IBM AIX,RedHat Linus,Suse Linux,Apple MacOs,VMware ESX / vSphere,Citrix XenServer,

支持的磁盘(后端)

Windows Server 2008上支持的任何内部驱动器,外部驱动器,外部磁盘阵列,JBOD,固态磁盘(SSD)和智能存储系统都可以连接到DataCore节点。它们可以是直接连接的或SAN连接的。


这就是你要的,是吗?


不完全是。该软件仍将接管每台计算机-您必须拥有100%专用于存储的计算机。我希望看到某些内容可以在仍与最终用户一起部署的PC上在后台运行,并且可以利用已经存在的备用磁盘。
Joel Coel

重新阅读存储/元数据抽象,我最近看到了这一点,但这可能是概念上的而不是实际的:xtreemfs.org/feature_replication.php
Mark Lawrence

当然,如果您还没有看的话,另一件事值得一看的是Windows DFS-R。这样,您可以设置文件夹的名称空间,该名称空间可以通过AD复制透明地访问和复制。名称空间文件夹具有物理共享的目标,并且可以使用您选择的拓扑(例如,中心和分支或全部免费)复制这些目标。嗯,有个问题,我认为目标必须是运行Windows Server。
马克·劳伦斯

0

我想到的最接近的东西是Google的MapReduce或免费的Hadoop替代品,但这是为了扩展到真正大型Web应用程序的PB级区域而设计的。

通常,您的情况不是我真正想尝试的事情,因为我猜想为这项附加服务管理机器的管理开销将远远超过您从中获得的任何好处。

另外,我将看到一定的风险,即Windows(或任何其他操作系统)中可能存在未发现的问题,可能会导致快速传播的蠕虫的漏洞,该蠕虫可能会在几分钟之内吞噬整个网络,无论如何良好且安全的系统已配置完毕,它将带走所有数据存储池。

除此之外,我不确定客户端系统上的可用磁盘容量是否会继续增长,因为我猜想将来还会有更多应用程序移植到Web上,其中包括Office applicaton甚至是Photoshop之类的东西。再次推动了瘦客户机的发展。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.