Questions tagged «zfs»

目前，我每天晚上和每周都对基于ZFS的NAS进行快照，此过程节省了很多时间。但是，虽然快照创建是自动的（从cron创建），但是删除旧快照仍然是手动任务。显然，如果我被公交车撞到，或者不执行手动任务，NAS将会耗尽磁盘空间。 是否有人可以使用任何好的方法/脚本来管理存储在其ZFS系统上的快照数量？理想情况下，我想要一个脚本，该脚本遍历给定ZFS文件系统的所有快照，并删除该文件系统的除最后n个快照以外的所有快照。 例如，我有两个文件系统，一个称为tank，另一个称为sastank。快照以创建日期命名：sastank@AutoD-2011-12-13因此，sort应使用简单的命令按顺序列出快照。我希望保留最近两周的每日快照tank，但仅保留最近两天的快照sastank。

24 solaris  zfs  snapshot 

此问题已从超级用户迁移，因为可以在服务器故障时回答。 迁移 7年前。 我还是ZFS的新手。我一直在使用Nexenta，但我正在考虑切换到OpenIndiana或Solaris 11 Express。现在，我正考虑将ZFS服务器虚拟化为ESXi，Hyper-V或XenServer中的客户机（我还没有确定哪个是虚拟机-我倾向于ESXi以支持VMDirectPath和FreeBSD）。 主要原因是看来我有足够的资源来轻松运行1-3个其他VM。通常是Windows Server。也许还有Linux / BSD VM。我希望虚拟化的ZFS服务器托管其他VM的所有数据，以便将它们的数据保存在与ZFS磁盘物理隔离的磁盘上（挂载为iscsi或nfs）。 该服务器当前具有一个AMD Phenom II，该内核具有6个总核（未锁定2个），16GB RAM（已最大化）和一个LSI SAS 1068E HBA，其中已连接（7个）1TB SATA II磁盘（在RAIDZ2上进行计划并具有热备用）。我也有（4）个32GB SATA II SSD连接到主板。我希望将其中两个SSD镜像到启动镜像（对于虚拟主机），而将其他两个SSD分别用于ZIL和L2ARC（对于ZFS VM guest虚拟机）。我愿意再添加两个磁盘来存储VM guest虚拟机，并将所有当前的七个磁盘分配为ZFS存储。注：主板并没有有IOMMU支持为880G不支持它，但我有一个890FX主板里面确实有IOMMU如果它使一个巨大的差异。 我的问题是： 1）这样做明智吗？我没有看到任何明显的不利因素（这使我想知道为什么没有人提到它）。我觉得我可能会做一个巨大的疏忽，而我不愿意承诺这样做，将所有数据移到另一个位置，只是想念我错过的一些细节。 2）ZFS虚拟客户机性能如何？我愿意降低性能，但我想，如果VM guest虚拟机具有对磁盘的完整磁盘访问权限，那么至少磁盘I / O性能将是微不足道的（与非虚拟化运行ZFS相比） 。任何人都可以从将ZFS服务器作为VM guest虚拟机托管的经验谈起吗？

23 virtualization  hardware  storage  zfs  nexenta 

我理解有关大型驱动器在重建过程中经历URE可能性增加的论点，但是我不确定这样做的实际含义。此答案表明整个重建失败，但这是否意味着所有数据都无法访问？为什么会这样呢？当然，驱动器上单个扇区中的单个URE最多只会影响与几个文件有关的数据。只是少量损坏几个文件，还是不重建阵列吗？ （我在这里对ZFS的RAID5实现特别感兴趣，但是对于任何RAID5实现，逻辑似乎都是相同的。）

23 raid  zfs  zfsonlinux 

此问题已从超级用户迁移，因为可以在服务器故障时回答。 迁移 7年前。 主要参考 ZFS L2ARC（Brendan Gregg）（2008-07-22）和ZFS和混合存储概念（Anatol Studler的博客）（2008-11-11）包含下图： 题 我是否应该在SSD层上解释垂直白线，以偏爱使用单独的 SSD， 是否不想在单个磁盘上混合使用L2ARC和ZIL？ 背景（回应评论） 就个人而言，我不太可能在任何可用的计算机上使用L2ARC或ZIL。（我的日常计算机是具有8 GB内存的MacBookPro5,2和混合型Seagate ST750LX003-1AC154。没有计划用SSD取代光盘驱动器。） 在其他地方：在工作中会有一些工具包的用途，但我没有日期或完整细节。（混合使用Xserve RAID x2…目前，我无法想象将它们提供给ZFS，但我还是持开放态度。） 我对 L2ARC和ZIL的SSD最佳做法的好奇心始于ZEVO领域中与性能相关的讨论之后，尤其是下面提到的主题，在该主题中，用户在单个磁盘上同时拥有L2ARC和ZIL。 其他参考和讨论 L2ARC屏幕截图（Brendan Gregg）（2009-01-30） SLOG屏幕截图（Brendan Gregg）（2009-06-26） [zfs-discuss] ZFS根备份/“灾难”恢复以及移动根池（2011-01-10）建议不要在单个磁盘上混合使用三样东西（根池，ZIL和L2ARC）– …不值得尝试在同一磁盘上管理所有3个磁盘时出现的头痛问题。例如，如果您决定重新安装数据存储池并意外破坏ZIL的内容。不要为池组件或跨池共享磁盘，以简化管理和恢复。… –我对是否建议不要在单个磁盘上混合使用其中的两种方法更感兴趣。 /superuser//a/238744/84988（2011-01-28）提到“缓存（L2ARC缓存）并将日志（ZIL）写入SSD”（单数）。但是，由于它与FUSE和Windows有关，因此我认为该答案与ZFS的更常见和更注重性能的使用没有特别的关系。 @ChrisS 在2011-08-16 的Comms Room中提到了ZIL和L2ARC。 http://forums.macrumors.com/showpost.php?p=14248388（2012-01-31）讨论了多个 SSD： 您需要了解有关ZFS的一些知识：它具有两种不同类型的缓存（读写）（L2ARC和ZIL），通常存储在SSD上。ZIL是写缓存。这可能是这种误解的来源。每次对zpool进行写操作时，ZIL都会受到锤击（假设是活动系统）。问题在于，将基于mlc的SSD用作ZIL会使它们磨损并很快发生故障。您需要一个（价格昂贵得多）基于slc的SSD用作ZIL驱动器。 具有完全由SSD组成的zpool不仅可能，而且效果很好。从根本上讲，它也不需要ZIL和L2ARC的单独驱动器。是的，您没有TRIM支持，但是基于ZFS的写时复制特性，这可能是一件好事。 话虽如此，ZFS在几乎满（例如85％或更高）的zpool上不能很好地发挥作用。无论您使用的是旋转磁介质还是固态介质，性能都会开始显着下降。缺少TRIM支持可能会加剧该问题，但是这已经是一个问题。 /server//a/397431/91969（2012-06-11）建议： ZIL的SLC类型SSD（特别不是MLC） 适用于L2ARC的MLC型SSD。 /superuser//a/451145/84988（2012-07-19）提到了单数形式的 “用于ZIL和L2ARC的SSD以加速ZFS”。 zevo.getgreenbytes.com•查看主题-FW800连接顺序的性能问题？（2012-09-24）关注具有用于ZIL和L2ARC 的单个 SSD 的FireWire总线上的事物顺序 除了总线顺序，那个ZEVO话题使我开始怀疑是否最好使用单独的SSD。 …

22 ssd  cache  zfs 

我已经有40年的计算经验，但是我从来不需要像这样构建服务器，因此这可能是一个n00b问题。 我有一个客户将提供超高清音乐文件供下载。在这种情况下，这意味着FLAC压缩的24 / 192Khz =〜10GB /专辑。（不，我不想讨论产品的理想性，仅是服务器配置。）目录将是大约3,000张专辑，包括超高清晰度和低清晰度版本（我猜是针对iPod的）， 35-40TB左右的主要数据。 由于这是一种非常专业的产品，因此市场规模相对较小（请考虑：人们在音频系统上花费20,000美元以上的人），这意味着服务器大部分时间将处于100％空闲（或接近）的状态。我有一个看起来不错的ColocationAmerica托管服务，连接速度为1Gbps，带宽为20美元/ TB，所以现在我只需要搭建一个盒子来运送货物。 数据访问用例是一次写入/多次读取，因此我正在考虑仅对驱动器对使用软件RAID 1。这将使我（我认为）可以为故障驱动器动态配置备用驱动器，从而能够在某些系统管理员注意到系统上的红灯之前开始第二个驱动器的重建（它们可以自由交换）。如果不需要的话，我可以让大多数驱动器进入睡眠/旋转状态，那就太好了，这对于大多数驱动器来说都是大多数时间。 我不需要太多的计算能力-这只是将繁杂的对象推到管道中-因此，只要CPU /主板能够支持如此数量的驱动器，它就可以算是适中的。 我目前正在考虑以下配置： Chasis: Supermicro CSE-847E26-RJBOD1 Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?) MB: SUPERMICRO MBD-X10SAE-O w/ 8GB CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server 那么，我是朝正确的方向前进，还是这是解决问题的完全n00b /恐龙方式？ 更新以澄清两点： 我没有ZFS的经验，因为我拥有的最后一个Sun产品早在80年代末。我将做一点RTFMing，看看是否感觉正确。 我真的不需要文件系统做任何壮观的事情，因为文件名将是简单的UUID，并且对象将在驱动器之间保持平衡（有点像大型缓存系统）。因此，我真的以为这些是40个独立的文件系统，这使RAID 1听起来不错（但是我在这里承认无知）。 因为我们目前的期望是我们不可能一次下载超过几十个文件，而且在大多数情况下，只有一个人在下载任何给定的文件，所以我不知道我们是否需要大量的内存用于缓冲区。也许8GB有点轻，但我认为128GB除了消耗能量外没有其他用途。 这里没有提到2台单独的机器：它们当前的网上商店，以及一个几乎完全脱钩的Download Master，可以处理所有身份验证，新产品接收管理，策略执行（毕竟这是 RIAA的游乐场），临时URL的创建（可能还有）如果流量超出了我们的预期，则将下载转移到这些野兽中的一种以上），使用情况跟踪和报告生成。这意味着这台机器几乎可以在Quaaludes上使用沙鼠来建造。 ZFS？好处在哪里？ …

21 zfs  software-raid  sas 

我已经阅读了很多有关为ZFS重复数据删除计划RAM需求的信息。我刚刚升级了文件服务器的RAM，以在ZFS zvols上支持一些非常有限的重复数据删除，因此我无法在其上使用快照和克隆（因为它们是zvols格式化为不同的文件系统），但是将包含很多重复的数据。 我想确保添加的新RAM将支持我打算做的有限重复数据删除。在计划中，我的数字看起来不错，但我想确定。 如何确定实时系统上ZFS重复数据删除表（DDT）的当前大小？我阅读了此邮件列表主题，但不清楚它们如何获得这些数字。（我可以在zdb tank必要时发布输出，但我正在寻找可以帮助他人的通用答案）

21 linux  solaris  zfs  memory-usage  deduplication 

我有一台zSolaris backupz由四个SCSI驱动器组成的OpenSolaris服务器： -bash-3.2# zpool status backupz pool: backupz state: ONLINE scrub: none requested config: NAME STATE READ WRITE CKSUM backupz ONLINE 0 0 0 raidz1 ONLINE 0 0 0 c7t0d0 ONLINE 0 0 0 c7t1d0 ONLINE 0 0 0 c7t2d0 ONLINE 0 0 0 c7t3d0 ONLINE 0 0 0 errors: …

21 solaris  zfs  raidz 

我正在考虑在我拥有的某些新服务器上使用哪个OS和文件系统，并且正在考虑带ZFS的Free BSD或带BTRFS的Linux。 我在两个系统上都运行过这些程序，因此唯一的问题是文件系统的可靠性和性能等。

21 zfs  btrfs 

我今天擦洗了泳池，擦洗完成后，我发现有一个错误损坏了文件。我不在乎该文件，因此删除了它。不幸的是，错误仍然存​​在（现在由十六进制ID而不是文件名引用），并且我不知道如何清除它。 我应该担心吗？我现在还不是真的摆脱了这个错误吗？ 我可以清除错误吗？如果该文件不见了，我真的不希望以后再看到此错误。 作为参考，这是我发出的命令和带有注释的输出： 检查状态 kevin@atlas:~$ sudo zpool status -v pool: zstorage state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: zfsonlinux.org/msg/ZFS-8000-8A scan: scrub …

20 zfs  zfsonlinux 

我有一个带有RAID10配置（可用4TB）的4个2TB WD RE4-GP驱动器的NAS服务器。我的空间不足（剩余的可用空间不足1TB）。我有0美元可以花在更大/更多的驱动器/机箱上。 我喜欢我读到的有关ZFS数据完整性功能的知识，这些知识本身就足以让我从现有的XFS（软件）RAID10切换。然后，我了解了ZFS对RAID5的出色实现，因此我认为使用RAIDZ-1甚至可以讨价还价获得多达2TB的可用空间。 不过，我一直在读更多和更 帖子说差不多，只是从不使用RAIDZ-1。只有RAIDZ-2 +足以应付“实际”驱动器故障。当然，就我而言，RAIDZ-2没有任何意义。最好在单个池（RAID10）中使用两个镜像的vdev。 我是否想为4个2TB驱动器使用RAIDZ-1疯狂吗？ 我是否应该仅使用两个镜像vdev（基本上为RAID10）的池，并希望压缩为我提供足够的额外空间？ 无论哪种方式，我都计划使用压缩。我只有8GB的RAM（已满），因此，不能选择dedup。 这将在FreeNAS服务器上（即将替换当前的Ubuntu OS），以避免ZFS-on-Linux的稳定性问题。

18 zfs  freenas  raidz 

我的小组目前有两台大型存储服务器，两台NAS均运行debian linux。第一个是已经使用了几年的多合一24磁盘（SATA）服务器。我们在LVM之上设置了两个硬件RAIDS。第二台服务器是64个磁盘，分布在4个机箱中，每个机箱都通过外部SAS连接到一个硬件RAID 6。我们将XFS与LVM结合使用，以创建100TB可用存储。所有这些工作都很好，但是我们已经淘汰了这些系统。已经构建了两个这样的服务器并且仍在增长，我们希望构建一些东西，使我们在将来的增长，备份选项方面具有更大的灵活性，在磁盘故障下表现更好（检查较大的文件系统可能需要一天或更长时间），并且可以承受在高度并发的环境中（例如小型计算机集群）。我们没有系统管理支持， 因此，我们寻求的是一种相对低成本，可接受的性能存储解决方案，该解决方案将允许未来的增长和灵活的配置（请考虑具有不同池且具有不同运行特性的ZFS）。我们可能不在单个NAS的范围内。我们一直在考虑将ZFS（例如，在openindiana上）或每台服务器的btrfs与运行在其上的glusterfs组合在一起。我们所反对的只是简单地钻研子弹，并投资Isilon或3Par存储解决方案。 任何建议或经验表示赞赏。

18 storage  storage-area-network  zfs  glusterfs 

显然，如果整个驱动器都死了，则单个磁盘上的RAID-Z将无济于事。但是其他类型的错误呢？ 根据我的经验，有时我有一个无法读取的文件。在Mac OS X上，系统将挂起一段时间，然后返回错误。我将文件移到某个地方，并且我认为该文件具有错误的扇区或错误的块，甚至可能是整个错误的轨道。 我可以追溯到软盘时代，在这种情况下，手动管理磁盘故障只是一种常见的活动。当然，您将尽快更换损坏的软盘，但是有时您无法立即进行更换，因此，实践是找到损坏的区域，将其分配到文件中，然后再从不删除该文件。 第一个问题是硬盘如何发生故障？我的上述假设是否正确？坏块变坏了，但是整个驱动器仍然大部分可用，这是真的吗？如果真是这样，那么似乎RAID-Z可以使用其他块（区域）的奇偶校验来修复磁盘的坏块或坏区域。 用例用于备份。如果我每周一次将数据推送到8 TB驱动器，将其视为7 TB数据驱动器加上1 TB奇偶校验是有意义的，希望额外的奇偶校验将帮助我从位腐烂，坏扇区或故障中恢复过来。其他本地驱动器故障？ 如果该理论在技术上没有缺陷，那么可以配置ZFS来做到这一点吗？ 编辑：发布此问题之前，我看到了另一个问题。一种选择是将每个分区分组到多个单独的分区中。但是从概念上讲，可以将N个分区的块映射相互缠绕在一起，以便在逻辑上跨越N个分区的一个条带在物理上非常接近。这就是我的问题的重点：“可以配置ZFS来做到这一点吗？” 即只是ZFS ...而不是ZFS的分区诡计。

18 zfs  raidz 

permanent errors今天在我的zpool上报道了几个。 pool: seagate3tb state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://zfsonlinux.org/msg/ZFS-8000-8A scan: none requested config: NAME STATE READ WRITE CKSUM seagate3tb …

18 zfs 

我在FreeBSD 9.0 x64上使用zfs并对此感到满意，但是我发现很难计算目录的真实大小，而不是压缩大小。 当然，我可以遍历目录并使用ls来计算每个文件的大小，但是我希望为此使用一些额外的密钥。 因此，如何确定压缩在zfs上的dir的目录大小？ 提前感谢您的建议，我简单地记得没有“查找./ -type d -exec ls -l'{}'\“这样的“简单”方法。| 糟糕...'！

18 freebsd  zfs  find  ls  du 

我正在扩展Solaris 10 U8服务器，该服务器除了根rpool外还具有一个额外的存储池。 将特定ZFS文件系统从rpool移到该新存储池的最有效/简单/可靠的方法是什么？ 可以在线完成，还是应该先关闭使用这些池的服务？

18 solaris  zfs