摄取率大的服务如何足够快地安装足够的硬盘?


13

亚马逊,Facebook和Google每天必须吸收TB(如果不是PB),这是否意味着他们需要人们不断地在新机架中安装新硬盘和电缆,就像建立普通服务器的方式一样,或者是否使用了不同的技术批量连接驱动器?



要考虑的另一个方面是具有这么多存储空间的驱动器故障率及其如何保持下去。有人估计Google可能每分钟都会出现新的驱动器故障。
马特

Answers:


16

我不知道他们中的任何人实际上一次只在一台服务器上安装硬件。早在2008年, MS就开始通过将服务器装入密封且预先接线的服务器运输集装箱中来交付数据中心,而这些服务器只需从卡车上卸下并插入电源/网络连接即可。虽然08构建为容器的结构和传统的用于他们最近的数据中心,他们因为去了一个自定义的预制设计的防水,不需要被容纳在独立的建筑已经。

无论惠普和IBM出售类似的包全是刚需的电源/数据连接到部署服务器的预构建的容器。

微软的Boyden Virginia数据中心,其预制模块暴露在天气中。


对我来说,这是真正解决最初问题的唯一答案。+1
mveroone 2013年

1
顺便说一句,这是该图片的来源。这是弗吉尼亚州的Microsoft Azure数据中心。
tedder42

仍然有人必须一次构建/连接/测试运输集装箱服务器,而google / facebook往往会自己完成硬件。
马特

@mindthemonkey是在同一个工厂使用普通机架式服务器相同的廉价中国劳动力完成/通过我们其余的人用刀片组装。
达恩·尼利


7

Google内部开发了几种技术来存储这些海量数据。使用这些技术,他们实际上可以将大量卡车硬盘添加到集群中,而不会造成任何停机,但是是的,他们仍然需要这样做。

据我从Google Blog得知,两个主要部分是Google File System,这是一个可以扩展到非常大的分布式文件系统:Google File System

在Google文件系统之上,他们还有Big Table,Big Table是某种关键值数据库,并且可以大规模扩展:Big Table

为了保证高可用性,很多东西都是多余的,多数情况下是3倍以上。


1
我认为这个问题更多是面向硬件的,您的回答有点离题,但这是一个很好的信息。
mveroone

5

完全正确。我记得,曾经有一天,Facebook数据中心每天平均增加三辆拖挂式拖车,上面装有硬盘驱动器和机架式服务器。当然,它们具有复杂的方案以使存储具有可伸缩性和冗余性。例如,谷歌拥有GFS。Facebook有三个仅用于其设备的数据中心,每个数据中心都比两个沃尔玛大,而一个新的数据中心计划比其现有中心大四倍。


2

借助能够在4个机架单元中容纳180 TB磁盘的新一代Open Compute存储解决方案,PB确实不是一个巨大的空间:每天增加1PB意味着每天要机架5个这样的服务器,这不是一个大问题。更好的是,这些设备的价格约为1万美元,这意味着您为每TB支付的费用不到60美元。

所以,是的,我们所有人都可以使用这项技术,而价格却不会太高。

但是,您必须记住,大公司总能获得更好的交易,并签订大量合同以获取大量存储空间。他们可能会在一年中散布少量货物,但这不像他们一次只订购1PB。


1
打开的保管库规格在线。借助4TB驱动器,它们在2U中的容量高达120TB。
马特

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.