诸如Google或Facebook之类的处理大量数据的公司如何备份所有内容?
根据有关Wikipedia的Google平台文章,Google估计有450,000多台服务器,每台服务器都具有80 GB以上的硬盘。那是很多数据。他们真的每1 GB数据保留1 GB以上的备份吗?
诸如Google或Facebook之类的处理大量数据的公司如何备份所有内容?
根据有关Wikipedia的Google平台文章,Google估计有450,000多台服务器,每台服务器都具有80 GB以上的硬盘。那是很多数据。他们真的每1 GB数据保留1 GB以上的备份吗?
Answers:
这取决于您的目的。
如果您正在寻找用于灾难恢复的备份(服务器爆炸,数据中心烧毁等),那么简短的答案是它们可能根本不做备份。我们有一个处理敏感的政府数据的客户,其部分职责是不允许我们进行备份或备份到可移动媒体上。允许我们实时复制到DR站点,仅此而已。两个站点的物理和逻辑安全级别都相同。这里要注意的是,如果我在站点A上搞砸了,那么它几乎会立即复制到站点B。
如果您是从数据完整性的角度谈论备份(例如,不小心删除了Customer表,并且该表已经复制到DR站点),那么通常使用大磁带库中的LTO-5磁带。每个磁带最多3TB,并且磁带库中有多个磁带,您可以快速备份大量数据(此处的快速表示Mbps,备份25TB的数据可能仍需要很多小时。)
任何体面的备份套件都可以进行高压缩和重复数据删除,从而极大地减少了所需的存储空间。我曾经看到一种压缩和重复数据删除的Exchange备份工具的估算值,该工具声称比率为15:1(在1gb的备份中存储了15gb的数据)。
我非常怀疑Google为许多搜索引擎数据而烦恼备份,因为大多数数据都是可替换的,而且分布如此之广,以至于如果它们丢失了很大一部分数据甚至整个数据中心,系统就会保留下来故障转移BGP路由,使网络联机。
实际上,看起来Google确实将度量指标的数据备份到了tape上,这与我期望的不完全相同:
他们的大多数数据都存储在自己的GFS文件系统中,GFS要求构成文件的每个64 MB块至少有三个副本(GFS使用64 MB块)。话虽如此,我不认为它们会困扰备份,因为它们每个文件至少具有三个副本,并且只需将数据从剩余的两个良好副本中的任何一个复制到新节点即可快速替换出现故障的节点上的块。
有关更多信息,请访问http://labs.google.com/papers/gfs.html
farseeker的回答很好,但我认为可以从以下角度考虑加以澄清:您要恢复什么?是DR吗?恢复时间是多少?作为示例,假设您的公司依赖25 TB sql服务器数据库。万一发生数据故障或错误(表丢失,数据库损坏等),CTO希望能够在一个小时内恢复数据库。如果发生站点故障,则需要2个小时。
从表面上看,这听起来很困难,但并非不可能。由于您知道备份策略必须在一小时内恢复,因此您将不打算还原完整备份,因此必须与dba团队合作以确保将DB划分为可管理的块。您还将经常进行跨日志备份。对于灾难恢复,应该考虑一种复制策略(可能是具有实时复制日志数据但未应用的时间延迟版本)。正如远征者所说,这取决于目的,而目的应该是进行某种形式的恢复。