Questions tagged «storage»

主要是有关磁盘存储的问题，有时是有关应用程序存储或云存储的问题。总是对存储数据有疑问。

1
使用ZFS头节点作为数据库服务器？
我正在使用基于Zex支持的双头NAS进行高可用性群集共享存储，基于Nexenta的推荐体系结构，如下所示： 1个JBOD中的磁盘将存储单个4 TB Postgres数据库的数据库文件，另一个JBOD中的磁盘将存储20 TB的大型原始二进制平面文件（大型恒星对象碰撞模拟的集群结果）。换句话说，支持Postgres文件的JBOD将主要处理随机工作量，而支持模拟结果的JBOD将主要处理串行工作量。两个头节点均具有256 GB的内存和16个内核。集群有大约200个核心，每个核心维护一个Postgres会话，因此我希望有大约200个并发会话。 我想知道在我的设置中让ZFS头节点同时充当集群的Postgres数据库服务器镜像对是否明智？我唯一看到的缺点是： 扩展我的基础架构的灵活性较低。 冗余级别略低。 Postgres的内存和CPU资源有限。 但是，我看到的好处是ZFS对于自动故障转移还是很愚蠢的，而且我不必花费很多工作就可以使每个Postgres数据库服务器确定头节点是否发生故障，因为它会与头节点一起发生故障节点。
3
有关存档解决方案的一般建议。〜15tb并且还在增长。
我需要一个用于小型企业文件的更好的存储和存档系统。具体来说，文件是完整的视频项目。除了时间和成本限制之外，让我退缩的是我不相信我所考虑的任何解决方案。因此，我正在提出问题和我的想法。我将不胜感激。 预算： 我相信要花一切。话虽如此，我们是一家小企业。我希望我可以在<5k以及1-3k左右的范围内摆脱困境。那可能是个白日梦。就是这样告诉我。 问题： 原始视频文件的文件大小很大。到目前为止，我们已经积累了大约10 TB以上的数据，并且正在快速增长。 视频编辑需要对文件的快速读/写访问权限，因此中央或基于云的文件服务器将不够快。因此，我们可能需要针对旧项目的实现解决方案，而当前项目将不得不留在本地。 我们需要某种冗余和异地解决方案。 我们目前正在做什么： 我们使用大型，高质量的外部硬盘驱动器。 我们总是成对购买并手动复制内容。换句话说，我们从一个工作，然后将文件复制到另一个，作为备份/回退。 这些HD通过firewire800或USB3足够快，可以直接工作。 装满后，我们将其放在一旁。 当前解决方案出了什么问题： 尽管跨两个驱动器复制了数据，但是这些驱动器不是“备份”的，也不是在异地存储的。 跨许多外部HD进行组织非常困难。什么项目在什么驱动器上？等等 最终，我们将拥有大量的硬盘。 复制不是RAID。 选项： 本地服务器 购买机架安装服务器和机架安装的硬盘驱动器阵列机柜，例如Norco（SAS）（20个托架）。 所有视频文件都将存储在此服务器上。我们可以安装并支付云服务来备份这台计算机/服务器。CrashPlan在Linux上运行，并且对数据量没有限制。硬盘驱动器将是连接到服务器的物理驱动器，因此我们避开了像CrashPlan这样的公司拥有的“无NAS”规则。它不是个人计算机，因此同步可以运行24/7/365。这样可以解决异地问题。 代替使用像CrashPlan这样的在线备份服务，我们可以编写脚本将这些文件同步到Amazon Glacier帐户。 视频可以窥视当前项目的外部硬盘驱动器的策略，但在完成后必须将该项目放置在此新计算机上。换句话说，继续将外部硬盘驱动器用于当前项目，并将归档的项目存储在此服务器上。 基于云的备份服务（CrashPlan.com，BackBlaze.com，Carbonite.com） 通常，仅允许您备份物理连接到计算机的外部硬盘驱动器。（无NAS或网络驱动器）。 通常，他们希望备份的外部驱动器保持与计算机的连接，而所有数据仍保留在驱动器中。如果您几个月都没有连接外部硬盘驱动器，那么备份将如何处理？如果您通过删除旧项目来清理空间，则它们也会从联机服务中删除。 要求我们的用户将外部硬盘驱动器留在计算机上，直到所有数据都在云中为止。大型项目可能需要数周的时间。 由于Internet的传输速度，恢复项目将非常缓慢。 这些云备份帐户通常特定于一台用户/一台计算机。因此，如果一个硬盘驱动器由一个用户备份。然后，另一个用户在项目上工作，这是什么意思？ 大型NAS NAS是“网络区域存储”。您要插入尽可能多的硬盘驱动器。它将突袭他们。您可以通过网络连接或USB3 / Firewire进行访问。 大多数都包含一个操作系统。因此，您无法运行其他软件，例如基于云的备份服务。您也无法进行任何自定义或运行自己的软件。你得到你买的东西。 大型NAS相当昂贵，但并不是那么大。您不会发现超过4个海湾的许多海湾。目前，大型HD为3tb。因此4bay的存储空间可能不到12tb。未来并不超级舒适。 其他想法是： 磁带备份。 只需将较旧的项目直接归档到Amazon Glacier，跳过构建本地服务器来存储它们。 感谢您的任何建议！！！杰德
3
带有ZFS的备份存储服务器
我是一家小公司的所有人。我想设计一个新的基础结构，包括新服务器和具有公司范围备份策略的单独备份服务器。 公司中最重要的是SQL Server及其数据库。数据库有10个，但其中只有2个非常重要。前一个8GB，主要是文本数据和数字。第二个约300GB，每月增加16GB，其中包含PDF和GIF。 为了保存存储，当前备份策略包括每周一次完整备份和6个差异。我认为它每周约350GB，每月约1.4TB。 在阅读了有关静默数据损坏的文章之后，我决定尝试使用Nexenta社区版的ZFS。 我的问题：具有重复数据删除功能的ZFS在可靠性方面是否适合存储备份文件，还是我应该考虑进行一些磁带备份还是其他？ 编辑：我知道现在我们无法预测性能，重复数据删除率等，但是我想知道这是否是个好主意。
5
名牌NAS是否定价过高？
NetGear的ReadyNAS 2100有4个磁盘插槽，不含磁盘的价格为2000美元。仅4个磁盘插槽似乎有点贵。 戴尔也有出色的网络存储解决方案。PowerVault NX3000具有6个磁盘插槽，因此是一项改进。但是，它的价格为3500美元；NX3100将磁盘数量增加了一倍，价格却翻了一番。万一我在寻找错误的硬件以获取大量存储的情况下，值得信赖的PowerVault MD3000i SAN拥有15个驱动器，但起价为7000美元。 尽管您可以争论戴尔，Netgear或HP或任何其他公司的支持是认真的，但将这些驱动器装在一个盒子中并通过iSCSI进行服务仍然非常昂贵。有一个更便宜的选择：自己构建。Backblaze已经建造了它自己的盒子，容纳45个（即四十五个）SATA驱动器，价格不到8000美元，包括驱动器本身。这比戴尔，Sun，HP等公司的当前报价至少便宜10倍。 为什么NA​​S（或SAN-仍连接到网络的存储设备）如此昂贵？毕竟，它的主要功能是容纳多个HDD，创建RAID阵列并通过诸如iSCSI之类的协议为它们提供服务。几乎所有其他东西都只是彩色气泡（又称为营销术语）。
2
对于服务器中的磁盘群集进行RAID以外的调查，动态磁盘池是否具有可比性？[关闭]
关闭。这个问题是题外话。它当前不接受答案。 想改善这个问题吗？ 更新问题，以使其成为服务器故障的主题。 去年关闭。 随着超融合系统的发展，我们可以看到RAID以外的其他技术来处理分布式存储（例如ceph或VSAN或nutanix中的分布式存储）。 但是是否有我可以在具有大量大磁盘的单个服务器上使用的源自对象存储的开源技术，比如说十几个12 SATA磁盘，这将确保数据安全，但是没有替换磁盘时重建时间长的缺点。磁盘。因此，动态磁盘池是一种非群集RAID的一种形式，可用于块级别（如iscsi）或文件系统级别（如zfs或brtrfs）。 我想提供与SYNOLOGY托架（NFS，iscsi目标，SMB）类似的功能，但没有RAID用于块存储。 感谢您的指示。
2
Azure虚拟机上的磁盘性能降低
好的，首先，我要说我不是操作人员，而是开发人员。所以我要进入这里一片未知的土地，所以请多多包涵。 我想使用Azure虚拟机从1.9 GB的zip文件中提取50 GB的XML文件。因此，我一直在测试我应该使用Azure上的哪种实例大小来获得良好的性能，同时又不会支付超出所需的费用。 但是，Azure VM的磁盘性能并没有达到惊人的水平，我想知道是我做错什么了，还是可以预期的结果。 首先，我一直在测试什么？我有一个自定义.NET控制台应用程序，除了将zip文件作为参数外，它什么也不做，并立即开始将zip文件解压缩到该zip文件所在的目录中。在进行提取时，该应用程序会计算多少兆字节应用程序已每秒写入目标文件并输出。 在我的本地开发机器上，此应用程序的写入速度达到160-210 MB / s，因此性能非常好。因此整个提取过程大约需要8分钟。我本地计算机的规格是Intel Core i7 950、3 GHz，4核（8逻辑），12 GB RAM，Samsung SSD 830系列250 GB。 好的，所以我开始测试不同的实例大小，这是我的结果。 在具有Windows Server 2012 Datacenter R2（8核，14 GB RAM）的A4实例上，使用相同的存储帐户在没有主机缓存的情况下使用4个虚拟磁盘进行条带化RAID，我得到了稳定的30-35 MB / s，这意味着提取花费了24分48秒。我还尝试了启用主机缓存，但实际上并没有任何区别。 在具有Windows Server 2012数据中心（8核，28 GB RAM，500 GB本地SSD磁盘）的D4实例上，我在开始的几分钟内获得了非常好的性能（150+ MB / s），然后以200 MB / s和山谷速度为9 MB / s。平均性能在70到100 MB / s之间。提取耗时9分40秒。 在具有Windows …
1
IQN命名约定
我已经看到了很多有关应如何格式化IQN的信息，但是关于如何构建它们的信息并不多。在iSCSI方面，我有点像个新手，而且我已经可以使用它了，但是我想知道我是否应该只是整理一下这些东西，还是有充分的理由遵循某种标准。 例如，这就是（wikipedia http://en.wikipedia.org/wiki/ISCSI#Addressing）所说的应该格式化IQN的方式。 Naming String defined by Type Date Auth "example.com" naming authority +--++-----+ +---------+ +-----------------------------+ | || | | | | | iqn.1992-01.com.example:storage:diskarrays-sn-a8675309 iqn.1992-01.com.example iqn.1992-01.com.example:storage.tape1.sys1.xyz iqn.1992-01.com.example:storage.disk2.sys1.xyz[10] 我的问题特别是，为什么要约会？可以是什么，什么意思？这里有执法吗？我会碰到一个错误的日期会咬我的地步吗？ 域示例是否由于某种原因而被颠倒了（就像dns一样）？如果我有一个像starkindustries.pri这样的域名，我的iqn会像这样： iqn.2006-05.pri.starkindustries:Linux:array0 这取决于DNS吗？（经验告诉我不是，但是它可能会以微妙的方式失败）并且，如果它依赖于DNS，我是否使用主机名还是仅使用域名？即Jarvis.starkindustries.pri或仅starkindustries.pri吗？ 另外，如果我使用的是IP地址（有人建议您使用的不是DNS，那会更令人困惑，因为它在没有DNS的情况下会起作用），您是否像DNS一样将其反向？即10.1.2.0 iqn.2006-05.0.2.1.10:Linux:array0 另外，您是否使用（iSCSI目标的）主机地址或网络地址。 是否对“由“ example.com”命名权限定义的字符串”进行任何强制执行，即是否有原因我不能使用blahblahblah vs有用的东西？我知道有用的名称更具描述性，但是有任何技术原因吗？我也相信自己是“命名权威”的巨大飞跃。 我猜比什么都重要，我正在为这些IQN整理一堆东西，它们似乎正在起作用。我只想知道至少在实际生成iqns时在哪里可以找到一些最佳实践。我只是在考虑，有一天我将不再是唯一负责存储的人，所以我需要降低一些标准，否则我要么搞砸了，要么让别人搞砸了。需要一个新的IQN块。
3
RAID 0或JBOD是否适合家庭媒体服务器？[关闭]
关闭。这个问题是题外话。它当前不接受答案。 想改善这个问题吗？ 更新问题，使它成为服务器故障的主题。 6年前关闭。 我有一个外部两托架驱动器机箱（OWC Mercury Elite-AL Pro）通过FireWire 800连接到Mac Mini（我的家庭媒体服务器）。我正在通过有线千兆位将媒体流传输到房屋中的其他计算机。我有两个现在正在独立使用的1.5 TB驱动器。介质在一个上，我晚上将文件镜像到另一个驱动器上作为备份。但是，当我要填充驱动器时，我想将这两个驱动器放在一起，总共给我约3 TB，然后再购买另一个驱动器进行备份。外部机箱同时支持RAID 0和JBOD，但我不清楚在这种情况下哪种更好。 RAID 0是否会比JBOD的流视频（可能同时有多个流）性能有所提高？ 它们各自如何影响驱动器的MTBF？ 通常，我应该选择RAID 0，JBOD还是保持它们独立？
3
从iSCSI一个创建物理SCSI目标
我发现自己必须为某些旧应用程序维护一些旧硬件。这些计算机使用旧的并行SCSI驱动器，当这些驱动器失效时，我不得不寻找新的驱动器，这变得越来越困难。 运行具有物理SCSI接口的现代计算机并将其本身作为目标磁盘呈现给旧计算机是否可行，因此，它不是访问物理SCSI磁盘，而是访问SAN中的现代磁盘？ 我查看了http://www.linux-iscsi.org/，看起来通常的操作模式就像是将物理磁盘上的iSCSI目标从物理磁盘中移出，而不是将物理目标从远程iSCSI中移出目标。但是我对术语或技术还不够熟悉，无法判断它是受支持的，可能的还是完全不可行的。
8 storage  iscsi  scsi  legacy 
2
存储问题：延长传统Compaq ML370的寿命
我有一个原始的ML370，甚至早在几代人之前（2000）。该存储系统由Smart Array 431控制器，2个9.1 Gb Ultra3 SCSI（COMPAQ BD009635C3）和4 146.8 Gb Ultra3 SCSI（COMPAQ BD14687B52）组成。 这两个9个演出构成了阵列A，该阵列A形成了一个RAID 1 + 0逻辑，即OS驱动器。四个146.8个演出形成了阵列B，该阵列B分成大约12个RAID 5逻辑。遗憾的是，其中一些逻辑是通过系统目录上的“连接”安装的；“ inetpub”，“程序文件”，“数据库”（SQL Server）和“消息存储”（Exchange）...可以想象这是Linux，尽管在Windows上值得怀疑，但这将是十全十美的。 另外，就价格而言，该网络适配器是Linksys EG1032。 此时（几乎）所有内容都已从该服务器上迁移，但是，由于总线体系结构和对当前操作系统的驱动程序支持，仍然无法迁移一个旧版应用程序，也不能在此替换它这次。因此，有必要使此框运行一段时间。 输入存储问题；9个和146个千兆驱动器中的每一个发生故障，因此整个存储系统性能下降，需要尽快解决。所以实际的问题是，我有什么选择？BTW的目的是不要再花这毛钱。 该服务器运行的是Windows2003。我担心，由于经过了很多时间，因此可能无法从头开始重新安装所有内容。我可以使用iSCSI SAN，其余三个146 gig驱动器上将有足够的空间来运行两个作为镜像，并保留第三个作为备用磁盘。挑战似乎在于如何重新组织现有存储，同时又要保持服务器运行。431不是很聪明。 所以我想知道，是否可以使这个年龄的服务器进行网络引导？不过，我的第一步是让它从某种类型的备用逻辑磁盘上运行，以便可以将现有阵列拆开并重新配置它们。但我愿意接受其他建议。我知道我可以用现代服务器做什么，但是我知道它的年代比较有限，我不确定这些选择。 TIA
2
阵列可用空间要求
一般的经验法则是，不要使用超过80-85％的容量，否则性能会急剧下降，并可能发生其他不良情况。 在8TB阵列上，这大约有1.6TB的空间必须留空！一个40TB的阵列大约需要8TB的可用空间！ 这仍然是更大数组的惯例吗？我在桌上留了太多磁盘空间吗？
3
为什么vSphere ESXi 5.5中的Linux VM会显示磁盘I / O延迟显着增加？
我很沮丧，希望其他人能认识到此问题的症状。 硬件：新款Dell T110 II，2.9 GHz双核Pentium G850，板载SATA控制器，包装盒内装有一个新的500 GB 7200 RPM有线硬盘驱动器，其他驱动器位于内部但尚未安装。没有RAID。软件：VMware ESXi 5.5.0（内部版本1746018）+ vSphere Client下的全新CentOS 6.5虚拟机。分配了2.5 GB RAM。该磁盘是CentOS提供的设置方式，即作为LVM卷组内的一个卷，只是我跳过了使用单独的/ home并仅使用/和/ boot的方式。修补了CentOS，修补了ESXi，在VM中安装了最新的VMware工具。系统上没有用户，没有服务在运行，磁盘上没有文件，只有操作系统安装。我正在通过vSphere Client中的VM虚拟控制台与VM进行交互。 在继续之前，我想检查一下我是否或多或少合理地配置了东西。我以root用户身份在VM的shell中运行以下命令： for i in 1 2 3 4 5 6 7 8 9 10; do dd if=/dev/zero of=/test.img bs=8k count=256k conv=fdatasync done 即，只需重复dd命令10次，这将导致每次打印传输速率。结果令人不安。它很好地开始了： 262144+0 records in 262144+0 records out 2147483648 bytes …
2
2012R2存储空间内存和CPU要求
我正在研究可能使用Server 2012R2中的存储空间来构建NAS。我希望在类似安装程序的“ RAID10”中构建一个相当大的单元（12-14个HDD）（我知道存储空间不支持RAID10，但也类似），并带有用于缓存的SSD。 而且我希望将来再将另一个外部JBOD机箱挂在上面，以获得类似“ RAID5-6”的设置。 我不打算进行解压缩或重复数据删除。 我的问题是，我想要哪种硬件？小型Xeon或Opteron能够处理吗？还是应该为更大的2.4GHZ + Xeon 4核HT或12核Opteron拍摄，甚至要使用双CPU？为了达到最佳性能，系统需要多少内存？我一直在从Microsoft搜索有关Storage Spaces设置的硬件指南，但是我一直找不到任何东西，因此，如果有人知道某些内容，请向我指出正确的方向。 我当时正在考虑使用FreeNAS或其他基于Linux的替代产品来设置这些单元，但是我所在部门的大多数IT专业人员几乎没有Linux经验，并且如果遇到总线问题，他们会选择基于Windows的解决方案，可能。同样，任何人都知道FreeNAS或其他Linux NAS替代产品VS的性能比较。Windows Server 2012R2存储空间？
2
传入文件的轮询
一堆具有唯一文件名的新文件通常会在一个服务器上“出现” 1。（与每天数百GB的新数据一样，解决方案应可扩展到TB。每个文件的大小为几兆字节，最大为几十兆字节。） 有几台计算机处理这些文件。（数十种，解决方案应可扩展到数百种。）应该可以轻松地添加和删​​除新机器。 有些备份文件存储服务器上必须复制每个传入文件以进行归档存储。数据不得丢失，所有传入文件都必须最终交付到备份存储服务器上。 每个传入文件都将被传送到一台计算机上进行处理，并且应将其复制到备份存储服务器。 接收方服务器在发送文件后无需存储文件。 请提供一种可靠的解决方案，以上述方式分发文件。解决方案不得基于Java。最好使用Unix-way解决方案。 服务器基于Ubuntu，位于同一数据中心。所有其他内容均可根据解决方案要求进行调整。 1 请注意，我故意省略了有关文件传输到文件系统的方式的信息。原因是如今，文件是由第三方通过几种不同的传统方式发送的（足够奇怪的是，通过scp和ØMQ）。在文件系统级别削减跨集群接口似乎更容易，但是如果一个或另一种解决方案实际上需要某些特定的传输，则可以将旧式传输升级为该传输。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.