Questions tagged «filesystems»

我的主文件服务器正在运行带有ZFS的OpenSolaris。我最初使用ZFS是因为我听到了很多很棒的事情： 自动磁盘扩展（zpool） 软件RAID（RAID-Z） 通过更换RAIDZ磁盘自动调整池大小 块级校验和 没有实际的单卷限制 “即将推出”重复数据删除 在OpenSolaris上戳了一段时间之后，确实让我很烦。我知道Fedora / CentOS和Debian / Ubuntu要好得多，而且我已经习惯了Linux相对于Solaris / BSD版本的处理方式。我想切换到Linux，但是我不知道该如何使用FS。 我不愿意使用FUSE或beta版内核来获取ZFS。Btrfs具有潜在的功能奇偶校验功能，但即使现在（我第一次研究它的几个月后），它仍然不稳定。您对Linux机器的ZFS（上面提到的所需功能）的等效建议是什么？

12 linux  filesystems  zfs 

在通用的现代unix环境中（例如，GNU / Linux，GNU / Solaris或Mac OS X），是否有很好的方法来确定特定绝对文件路径位于哪个挂载点和文件系统类型上？ 我想我可以执行mount命令并手动解析该命令的输出，并将其与文件路径进行字符串比较，但是在此之前，我想知道是否还有更优雅的方法。 我正在开发一个利用扩展属性的BASH脚本，并希望使其适用于各种文件系统和主机环境（在可能的范围内）。

12 unix  bash  files  filesystems  unix-shell 

关闭。这个问题是题外话。它当前不接受答案。 6年前关闭。 已锁定。该问题及其答案被锁定，因为该问题是题外话，但具有历史意义。它目前不接受新的答案或互动。 我了解在Windows中有多种使用/访问ext2 / ext3的替代方法，例如HOWTO Forge文章和一年前另一篇文章中介绍的替代方法。但是，没有列出的项目提供对完全实现的ext3的完全读写访问权限。也就是说，这两个读写选项似乎不支持ext3日志。（ext2fsd将重播一个非空的日志，但看起来好像不使用它。否则，ext2fs.sys似乎根本不使用该日志。） 是否有人知道我可以在Windows中安装的驱动程序，以提供对ext3分区的完全读写访问权限，包括日志，用户权限，selinux属性（如果可能，至少保留它们）和其他扩展属性？ 你们中的任何人实际使用过其中一种驱动程序吗？目前，我通过FAT32分区在双引导系统上的操作系统之间共享数据。我知道我可以使用NTFS，它在Linux下具有读写访问权限。但是，如果可能的话，我宁愿使用ext3。

12 windows  filesystems  ext3 

我正在查看此设置： Windows Server 2012 1 TB NTFS驱动器，4 KB群集，约90％的已满容量 约10,000万个文件夹中存储的约1000万个文件=约1,000个文件/文件夹 大部分文件小于50 KB 磁盘阵列上托管的虚拟驱动器 当应用程序访问随机文件夹中存储的文件时，读取每个文件需要60-100毫秒。使用测试工具，似乎在打开文件时发生延迟。读取数据仅需花费一小部分时间。 总之，这意味着读取50个文件很容易需要3-4秒，这比预期的要多得多。批处理是写的，因此此处性能不是问题。 我已经遵循关于SO和SF的建议来得出这些数字。 使用文件夹减少每个文件夹的文件数量（在文件系统中存储一百万个图像） 运行contig对文件夹和文件进行碎片整理（https://stackoverflow.com/a/291292/1059776） 8.3名称和上次访问时间被禁用（配置NTFS文件系统以提高性能） 读取时间该怎么办？ 认为每个文件60到100毫秒是可以的（不是吗？） 有什么想法可以改善设置吗？ 是否有低级监视工具可以告诉您确切花费了什么时间？ 更新 如注释中所述，系统运行Symantec Endpoint Protection。但是，禁用它不会更改读取时间。 PerfMon每次读取的时间为10-20毫秒。这意味着任何文件读取都需要约6个I / O读取操作，对吗？这是MFT查找和ACL检查吗？ MFT的大小约为8.5 GB，比主内存大。

12 windows  performance  filesystems  ntfs 

是否有Linux / Unix工具可以在一个目录中找到所有文件，而在另一个目录中却找不到？基本上，我正在寻找对ls输出有效的diff。 简短而优美的脚本也值得赞赏。

12 linux  command-line-interface  filesystems 

我想删除一个nginx缓存目录，我通过以下方法快速清除了该目录： mv cache cache.bak mkdir cache service nginx restart 现在，我有一个cache.bak包含200万个文件的文件夹。我想删除它，而不会打扰服务器。 一个简单的操作会rm -rf cache.bak破坏服务器，即使在运行rm时，即使最简单的HTTP响应也要花费16秒，所以我无法做到这一点。 我尝试过ionice -c3 rm -rf cache.bak，但是没有帮助。服务器具有HDD，而不是SSD，可能在SSD上可能不是问题。 我相信最好的解决方案将是某种限制，例如nginx的内置缓存管理器是如何做到的。 您将如何解决？有没有什么工具可以做到这一点？ Ubuntu 16.04上的ext4

11 linux  ubuntu  filesystems  ext4 

我有一堆运行Carbon和Graphite的机器，需要扩展以增加存储量，但是我不确定是否需要扩展或扩展。 该集群当前包括： 1个中继节点：接收所有指标并转发到相关的存储节点 6个存储节点：容纳所有Whisper DB文件 问题是，当磁盘使用率接近80％时，性能似乎会下降。群集写入IOPS从近乎恒定的13k下降到更混乱的约7k的平均值，而IOwait时间的平均值为54％。 我浏览了我们的配置库，自4月初以来没有任何更改，因此这不是配置更改的结果。 问题：增加磁盘大小是否会使IO性能重新得到控制，还是需要添加更多存储节点？ 注意：这里没有SSD，只有很多主轴。 相关图： 统计资料： e2freefrag： [root@graphite-storage-01 ~]# e2freefrag /dev/vda3 Device: /dev/vda3 Blocksize: 4096 bytes Total blocks: 9961176 Free blocks: 4781849 (48.0%) Min. free extent: 4 KB Max. free extent: 81308 KB Avg. free extent: 284 KB Num. free extent: 19071 HISTOGRAM OF FREE …

11 linux  filesystems  ext4  graphite 

我对软件raid5有点迷恋ext4文件系统。当我开始用完空间时，文件系统已经“运行良好”了好几年。我在6x2T驱动器上有9T的卷。我通过执行mdadm失败，删除，添加，重建，重复过程直到拥有更大的阵列来开始升级到3T驱动器。然后，我种植了luks容器，然后当我卸载并尝试调整大小2fs时，系统提示我文件系统很脏，需要e2fsck。 没想到我只是做了e2fsck -y / dev / mapper / candybox，它开始喷出各种各样的被删除类型消息的inode（不记得了），我杀死了e2fsck并试图将文件系统重新挂载到我所关心的备份数据上。当尝试挂载时，我得到： # mount /dev/mapper/candybox /candybox mount: wrong fs type, bad option, bad superblock on /dev/mapper/candybox, missing codepage or helper program, or other error In some cases useful info is found in syslog - try dmesg | tail or so 回顾我的旧日志，我注意到每次计算机启动时文件系统都会出现此错误： kernel: [79137.275531] …

11 linux  filesystems  ext4  data-recovery 

我的嵌入式linux设备使用SD卡来保存某些诊断数据，对于内部闪存而言这太丰富了。 问题是，如果设备意外关闭，则卡上的文件系统（FAT32）已损坏。 无法防止意外断电或用户将其关闭，该设备应相对免维护。更糟糕的是，数据是连续写入的，因此损坏非常频繁，并且Linux在检测到故障FS时会以静默方式将其重新装入只读状态。 您会建议采用哪些方法来减轻这种情况？在启动时自动运行fsck.vfat是否足够？ 更多信息： 该卡不被用户视为可移动。可以将其视为内部磁盘。存储在上面的任何数据都可以通过网络或USB驱动器下载，系统会自动清除最早的条目。这意味着它不需要在普通PC上可读。 该系统当前支持FAT，yaffs和jffs2。可以在内核中添加其他文件系统，但是如果存在其他途径，我们最好先使用它们。 可以按需暂停写入，即使几分钟也不会丢失数据。 可接受部分数据丢失或轻微损坏。不是完全停止日志记录。 在大多数情况下，关闭电源事件是完全不可预测的。 该系统在ARM9、200MHZ，64MB RAM，32M​​B内部闪存上运行，并在其主要角色上消耗了大部分CPU电源。在考虑花哨的大量资源解决方案时要考虑到这一点。

11 linux  filesystems  corruption  embedded  sd-card 

假设您面对着价值25 TB的未压缩日志文件，并且可以随意使用20个商品盒阵列，它们的集体免费存储容量为25 TB。 您将如何存储这些？ a）使用哪个分布式文件系统？ b）哪种压缩/解压缩格式/算法？ c）日志文件大小为1MB，最大7MB，所有文本和大量空白 d）用法是：a）人们想要最新的日志文件比以前更多，因此要使用哪种缓存系统b）人们将只读取日志文件而不删除它们c）人们希望按日期范围列出日志文件 e）在商品包装盒上运行的操作系统是Linux， f）至于备份，我们有一个存储阵列可以解决这个问题。因此，存在从阵列还原数据的能力。 我不希望他们直接访问文件系统。我该怎么办 ？我如何为此获得一个基于REST的API？ 请您多花2美分，您会怎么做？ 安库尔

11 filesystems  storage  log-files  compression 

我一直在考虑文件系统的版本控制。这是一个杀手级功能，我研究了Wayback，ext3cow，zfs，fuse解决方案，或者只是cvs / svn / git叠加层。 我认为ext3cow是符合我要求的模型。透明，高效，但是我可以不用其他ls abc@timestamp功能。只要我能以某种方式获得文件的自动化透明版本。 它可以是瞬时的，也可以基于10s，30s，1m，5m，15m等间隔的快照。这可以有效地处理给定目录中的数千个文件，这些文件大小各异，大多数很小，但有些超过100m至1gb。 ZFS并不是真正的选择，因为我在Linux上（并且不希望通过保险丝使用它，因为我已经拥有要版本化的ext3设置，而不是新的东西）。 有什么解决方案？

11 git  ext3  filesystems  versioning 

在我们的一台服务器上，我们有一个文件，该文件一直神秘地被删除。我想做的是让一个程序监视此文件，并让我知道何时，如何/由谁删除它。我们已经备份了该文件，因此放回它并不麻烦，但是这会导致我们网站上的停机时间。 是否有执行此操作的软件？可能有免费的东西吗？操作系统是Windows Server 2003 SP2 32位。

11 windows-server-2003  filesystems  audit  trace 

我正在寻找Windows框上最大文件的列表，即不仅在一个文件夹中，而且在磁盘上的任何位置。有什么简单的方法可以做到这一点吗？

11 windows  filesystems 

类似的linux问题使我想起了MacBookPro的糟糕性能。我什至不确定现在的默认FS是什么。我在某处读到，有一个cron工作在星期五或星期六运行，并且执行此类工作。 那我需要整理磁盘碎片吗？如果可以，我该怎么做？

11 filesystems  hard-drive  mac-osx 

我有一个ZFS池-包含2个vdev的镜像-在FreeBSD服务器上运行。现在，我只有镜像中的一个磁盘，而我正试图从镜像中恢复文件。 ZFS数据位于磁盘上的GPT分区中。 当我尝试导入池时，根本没有迹象表明它存在。我尝试了多种方法，但是没有任何反应。 我已经zdb -lu在分区上运行了，而且看起来标签还不错。 # zpool import # zpool import -D # zpool status no pools available # zpool import -f ztmp cannot import 'ztmp': no such pool available # zpool import 16827460747202824739 cannot import '16827460747202824739': no such pool available 分区信息： # gpart list da0 Geom name: da0 modified: …

11 filesystems  freebsd  zfs