是否有人知道一些链接/书籍/您能想到的任何东西,这些链接描述了构建一个小型家庭集群的过程(当我说家庭时,不一定意味着要在家中保留,而是意味着它相对便宜且体积小)实验目的,特别强调当今哪种硬件已经足够,以及某种成本分析?
虽然,如果有人在这里做,我会很感激您可以分享的所有经验。
是否有人知道一些链接/书籍/您能想到的任何东西,这些链接描述了构建一个小型家庭集群的过程(当我说家庭时,不一定意味着要在家中保留,而是意味着它相对便宜且体积小)实验目的,特别强调当今哪种硬件已经足够,以及某种成本分析?
虽然,如果有人在这里做,我会很感激您可以分享的所有经验。
Answers:
查阅Thomas Sterling撰写的《 Beowulf Cluster Computing》一书(Linux专用一本,Windows专用一本)。它们告诉您所有有关使用MPI来使您的节点相互通信所需的知识。
我和一个朋友用一些非常笨拙的硬件构建了一个由8个盒子组成的集群,并在其中运行Windows XP。这些就像奔腾I-90 MHz的盒子。远低于Windows所需的规格,但运行良好。我们还在它们上运行了SQL Server 2000(也远低于建议的规格),并对它们的股票期权定价做了一些黑洞建模。
在不知道您要对集群做什么的情况下,很难建议哪种硬件就足够了。但最重要的是,您可以构建几乎所有东西的集群。
创建许多物理群集节点的替代方法是创建虚拟机。您将只有一两个实际的物理机器,但是可以模拟有更多的节点。这对于创建,学习和使用较少的资源(空间,电量,$$$$$$$)会很好。
这不会给您太多成本分析,但可以帮助您入门。群集设置的类型取决于您要为其创建的工作类型。您可以有许多小节点,也可以只有几个功能强大的节点。也要考虑共享和非共享内存环境。您要创建哪种类型的并行程序?您拥有的物理节点越多,必须考虑的空间,电源,散热和网络互连性就越多。有时,只有一台大型计算机才行(对于IMHO,共享内存环境更容易编程)。
我最近开始玩一个集群构建游戏,其中包含一些随机的P4盒,ubuntu和LAM-MPI。这绝对是一次学习经历。
实际上,实际上是几个p4笔记本电脑和塔堆在车库中。这是贫民窟,但我只是想学习。我只是使用100 Mbps以太网。我选择了ubuntu,因为我不想处理很多硬件配置。Ubuntu有很多我需要的驱动程序。我需要一个Linux环境,因为我为此编写的应用程序是具有MPI接口的基于C的应用程序。我试图复制以前使用的内容。都是杂项。硬件,没有标准。大多数群集具有完全相同的硬件,因此您可以快速添加和删除节点。
根据您要执行的操作,考虑在虚拟机群集上开发系统。与完整的系统虚拟化(例如VirtualBox / VirtualPC / Xen / VMWare)相比,使用OpenVZ或Parallel的Virtuozzo或Solaris Containers等OS虚拟化解决方案可使您扩展到巨大的密度。然后,当您实际上需要部署系统以提高性能时,可以在Amazon EC2或类似产品上“在云中”运行它。
我将首先亲自查看LittleFE(http://littlefe.net/)或可启动群集CD(http://bccd.net/)项目。另请参见Ubuntu Cloud项目(http://www.ubuntu.com/cloud)。
几乎任何硬件都可以工作。我倾向于看一下某种形式的平价交易,或者借机租借来购买一些廉价的硬件。
看看Rocks,它是一个集群分布,它使构建集群非常容易。它还可以扩展到至少几个猎犬节点。