Questions tagged «filesystems»

文件系统（或文件系统）是一种通过提供存储，检索和更新数据的过程以及管理包含该数据的设备上的可用空间来组织程序在程序终止后将保留的数据的方法。

2
ZFS数据丢失方案
我正打算建立一个大型的ZFS池（150TB +），我想听听人们关于由于硬件故障而造成的数据丢失情况的经验，特别是区分只有一些数据丢失的实例与整个文件系统的实例（即使在ZFS中也是如此）。 例如：假设由于外部驱动器机箱断电或控制器卡出现故障等原因导致vdev丢失。从我读到的内容来看，池应该进入故障模式，但是如果vdev返回了，池应该恢复吗？或不？或者如果vdev部分损坏，是否会丢失整个池，某些文件等？ 如果ZIL设备发生故障会怎样？还是只是几个ZIL之一？ 确实，任何由深厚的技术知识支持的轶事或假设方案都值得赞赏！ 谢谢！ 更新： 由于我们是一家小型企业（9人左右），因此我们以便宜的价格进行此操作，但是我们会生成大量的成像数据。 数据大部分是较小的文件，据我估计，每TB约有500k文件。 数据很重要，但不是超级关键。我们计划使用ZFS池来镜像48TB“实时”数据阵列（使用3年左右），并将其余存储空间用于“归档”数据。 该池将使用NFS共享。 机架应该位于建筑物的备用发电机线上，并且我们有两个APC UPS能够在满负载下为机架供电5分钟左右。
5
暂时关闭文件系统
我正在设置一个mongoDB副本集，我想做的第一件事之一是在文件系统上一次关闭。经过研究后，我不反对这样做，但我不得不问，时间的使用是什么？我已经搜索了互连网，却很少发现“这种应用程序或此过程使用了一段时间，如果您将其关闭会很愚蠢”的警告方式，但是我天生就是一个偏执狂，我想知道。 那么，什么会使用atime？如果我将其关闭，有什么可能会中断？
2
透明压缩文件系统与ext4结合使用
我正在尝试使用ext4文件系统测试需要压缩存储的项目，因为我使用的应用程序依赖于ext4功能。 是否有用于ext4透明压缩的生产/稳定解决方案？ 我尝试过的 ZFS卷上的Ext4启用了压缩。这实际上产生了不利影响。我尝试创建启用了lz4压缩的ZFS卷，并在/ dev / zvol /上制作了一个ext4文件系统，但是zfs卷显示了实际使用量的两倍，并且压缩似乎没有任何效果。 # du -hs /mnt/test **1.1T** /mnt/test # zfs list NAME USED AVAIL REFER MOUNTPOINT pool 15.2T 2.70G 290K /pool pool/test 15.2T 13.1T **2.14T** - ZFS创建命令 zpool create pool raidz2 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde2 /dev/sdf1 /dev/sdg1 /dev/sdh2 /dev/sdi1 zfs set recordsize=128k pool zfs …
12
在Linux上存储和备份1000万个文件
此问题已从堆栈溢出迁移，因为可以在服务器故障时回答。 迁移 8年前。 我经营一个网站，该网站在3个级别的子目录中存储大约1000万个文件（书籍封面），范围为[0-f]： 0/0/0/ 0/0/1/ ... f/f/f/ 这导致每个目录大约2400个文件，这在我们需要检索一个文件时非常快。此外，这是许多问题建议的做法。 但是，当我需要备份这些文件时，只需要花几天时间浏览包含10m个文件的4k目录。 因此，我想知道是否可以将这些文件存储在一个容器（或4k容器）中，每个容器的行为都完全类似于文件系统（某种已安装的ext3 / 4容器？）。我想这几乎与直接访问文件系统中的文件一样有效，并且这将具有非常有效地被复制到另一台服务器的巨大优势。 关于如何做到最好的任何建议？还是任何可行的替代方法（noSQL，...）？
9
一个ext3目录中的最大文件数，同时仍能获得可接受的性能？
此问题已从堆栈溢出迁移，因为可以在服务器故障时回答。 迁移 9年前。 我有一个应用程序写入ext3目录，随着时间的推移，该目录已增长到大约300万个文件。不用说，读取此目录的文件列表的速度令人难以忍受。 我不怪ext3。正确的解决方案是让应用程序代码写入子目录，例如./a/b/c/abc.ext而不是only ./abc.ext。 我正在更改为这样的子目录结构，而我的问题很简单：我希望在一个ext3目录中存储多少文件，同时仍然可以获得可接受的性能？您的经验是什么？ 或者换句话说；假设我需要在结构中存储300万个文件，该结构应深入多少层./a/b/c/abc.ext？ 显然，这是一个无法完全回答的问题，但是我正在寻找一个估计的数字。
4
在主机文件系统中挂载Docker容器内容
我希望能够检查Docker容器的内容（只读）。做到这一点的一种优雅方法是将容器的内容装载到目录中。我说的是在主机上安装容器的内容，而不是在容器内的主机上安装文件夹。 我可以看到Docker中现在有两个存储驱动程序：aufs和btrfs。我自己的Docker安装使用btrfs，浏览至/ var / lib / docker / btrfs / subvolumes将显示系统上每个Docker容器一个目录。但是，这是Docker的实现细节，在其他地方挂载-绑定这些目录感觉不对。 是否有适当的方法来执行此操作，或者我需要打补丁Docker以支持此类安装？
8
需要修复用户主目录中的文件权限
是否有人拥有可以递归纠正目录上文件权限的工具或脚本？ 在Ubuntu Linux计算机上，错误地将一堆文件复制到具有全部777权限（用户，组，其他-读取，写入，执行）的USB磁盘。我想将它们放回更正后的用户目录中。 目录应该为775，所有其他文件都可以为664。所有文件都是图像，文档或MP3，因此它们都不是可执行文件。如果设置了目录位，则需要执行，否则，仅需要用户和组，读取和写入。 我认为值得一提的是，在一起破解Shell脚本之前是否存在这样的实用程序:)
4
ramfs和tmpfs之间的性能差异
我需要为大约10 GB的数据设置一个内存中存储系统，其中包含许多100 kb的单个文件（图像）。会有很多读取和相当定期的写入（添加新文件，删除一些旧文件）。 现在，我知道tmpfs的行为类似于常规文件系统，例如，您可以使用df检查可用空间，这是一个不错的功能。但是，我对ramfs是否会在IO操作速度方面提供一些优势感兴趣。我知道使用ramfs时无法控制消耗的内存大小，并且如果系统完全消耗了可用的RAM，则我的系统可以挂起，但是在这种情况下这不是问题。 总而言之，我感兴趣： -性能方面，速度更快：ramfs或tmpfs（可能是为什么）？-tmpfs 何时使用交换空间？它会把已经保存的数据移到交换区（为正在运行的其他程序释放RAM）还是只有新数据（如果那时没有剩余的RAM）？
7
大型LVM磁盘（8 TB）的哪个文件系统？
我有一台Linux服务器，其中有许多2 TB磁盘，所有这些磁盘当前都在LVM中，因此大约有10 TB的空间。我在ext4分区上使用了所有这些空间，目前大约有8.8 TB的数据。 问题是，我的磁盘上经常出现错误，即使我替换了（也就是说，我用dd将旧磁盘复制到新磁盘，然后将新磁盘放入服务器），一旦出现错误，我经常收到大约100 MB的损坏数据。这使e2fsck每次都变得疯狂，并且通常需要一周的时间才能使ext4文件系统再次恢复正常。 所以问题是：您会建议我在LVM上用作文件系统吗？ 还是您会建议我做什么（我真的不需要LVM）？ 我的文件系统的配置文件： 许多不同大小的文件夹（某些文件夹总计2 TB，某些文件夹总计100 MB） 几乎200,000个具有不同大小的文件（其中3/4约为10 MB，1/4介于100 MB和4 GB之间；由于ext4分区已完全破坏了几天，我目前无法获得有关文件的更多统计信息） 读很多但是写很少 并且我需要容错（我停止使用mdadm RAID，因为它不喜欢在整个磁盘上出现一个错误，并且有时我的磁盘有故障，我会尽快更换，但这意味着我可能会损坏数据我的文件系统） 主要问题是磁盘故障。我可能会丢失一些文件，但我无法承受同时丢失所有文件的损失。 如果我继续使用ext4，我听说我最好尝试制作更小的文件系统并以某种方式“合并”它们，但是我不知道如何。 我听说btrfs会很好，但是在不复制数据（mkfs.btrfs -d single？）时，如何找到丢失一部分磁盘（或整个磁盘）的方法，我找不到任何线索。 对此问题的任何建议都将受到欢迎，谢谢！
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.