Questions tagged «large-data»

我正在将服务器从美国从一个数据中心迁移到英国。我的主人说我应该能够达到每秒11兆字节。 两端均为Windows Server 2008。 我的平均文件大小约为100 MB，数据分为五个2 TB驱动器。 传输这些文件的推荐方法是什么？ 的FTP 中小企业 Rsync / Robocopy 其他？ 我不太担心安全性，因为这些反正都是公共文件，但是我只想要一个可以提高11 MB / s完整传输速率的解决方案，以最大程度地减少总传输时间。

96 file-transfer  large-data 

是否可以确保Bash中的通配符扩展按字母顺序排列？我被迫将一个大文件分成10 Mb，以便我的Mercurial存储库可以接受它们。 所以我想我可以使用： split -b 10485760 Big.file BigFilePiece. 然后代替： cat BigFile | bigFileProcessor 我可以做： cat BigFilePiece.* | bigFileProcessor 代替它。 但是，我找不到任何地方这保证了星号（又名通配符，又名膨胀*）将永远是按字母顺序排列，这样.aa来之前.ab（而不是被戳订购或类似的东西）。 另外，我的计划中是否有任何缺陷？cat一起读取文件的性能成本有多少？

53 bash  files  wildcard  large-data 

诸如Google或Facebook之类的处理大量数据的公司如何备份所有内容？ 根据有关Wikipedia的Google平台文章，Google估计有450,000多台服务器，每台服务器都具有80 GB以上的硬盘。那是很多数据。他们真的每1 GB数据保留1 GB以上的备份吗？

8 backup  google  large-data