Questions tagged «storage»

主要是有关磁盘存储的问题,有时是有关应用程序存储或云存储的问题。总是对存储数据有疑问。



8
向开发人员和其他用户解释存储问题的最佳方法是什么
当服务器存储空间不足时,开发人员开始抱怨,“我可以花100美元在沃尔玛买到1 TB的硬盘,这是什么问题”。 如何向开发人员说明存储的复杂性,以便他们理解为什么沃尔玛的1 TB驱动器将无法工作。 ps我是开发人员,也想知道:)
40 storage 

3
主板上SD插槽的用例是什么?
我的HP Proliant ML110 G7在主板上有一个标准尺寸的SD插槽。它的用例是什么? 该PDF说明书中提到它page 10: item 17只是为了显示它的位置,但仅此而已。在更高版本(第9代)中,据说该插槽不可热插拔。 主板还具有USB插槽(项目11)。


8
IOPS为什么重要?
我了解什么是IOPS和吞吐量。吞吐量以MB / s和IOPS表示每秒发生的I / O操作数来衡量数据流。 我不明白的是为什么许多存储服务仅显示其提供的IOPS。我真的看不到希望了解IOPS而不是吞吐量的任何情况。 IOPS为什么重要?为什么AWS主要在IOPS中显示其存储规定?IOPS在哪些方面比吞吐量(MB / s)更重要? 编辑: 有些人正在研究这个问题,就像我问什么是随机访问以及它如何影响性能或HDD和SSD如何工作...尽管我认为此信息对于刚接触存储行为的人们很有用,但仍在关注很多问题。为此,这不是问题的目的,问题是关于“当我看到IOPS编号时,我看不到吞吐量(MB / s)编号时会得到什么新信息?”

7
廉价存储服务器测试新硬盘的最佳方法
我想建立一个存储服务器并购买10 x 2TB WD RED's。在HDD's刚刚抵达。 你们有没有工具在将真实数据复制到磁盘上之前检查驱动器是否损坏或最好地防止婴儿死亡? 检查每个单个数据HDD还是ZFS raid-z2通过在其上复制大量数据来测试数组()更好?
31 storage 

11
分布式存储文件系统-哪一个/是否有现成的产品?
博客和相关新闻中遍布着Hadoop和CouchDB,什么才是真正有效的分布式容错存储(引擎)。 CouchDB实际上没有内置的任何分发功能,据我所知,用于自动分发条目甚至整个数据库的胶水简直就是缺失。 Hadoop似乎得到了广泛的应用-至少它受到了很好的关注,但仍然存在单点故障:NameNode。另外,它只能通过FUSE挂载,我知道HDFS实际上并不是Hadoop的主要目标 GlusterFS确实没有共享概念,但是最近我读了几篇文章,使我认为它不太稳定 由于使用专用的元数据服务器,Lustre也有单点故障 Ceph似乎是首选的播放器,但首页指出它仍处于Alpha阶段。 因此,问题在于哪个分布式文件系统具有以下功能集(无特定顺序): 兼容POSIX 轻松添加/删除节点 无共享概念 在便宜的硬件上运行(AMD Geode或VIA Eden类处理器) 内置认证/授权 网络文件系统(我希望能够同时将其安装在其他主机上) 很高兴有: 本地可访问文件:我可以使用标准本地文件系统(ext3 / xfs / whatever ...)将节点挂载到该分区,并仍然访问文件 我不是在寻找托管应用程序,而是让我可以占用每个硬件盒10GB的空间,并在我们的网络中拥有可用的存储空间,可以轻松地将其安装在众多主机上。

2
为什么企业SAS磁盘盒看起来如此昂贵?
我将首先声明,我不认为这与“ 为什么企业存储如此昂贵?”重复 。 我的问题特别是关于SAS驱动器机箱及其费用的合理性。 我要引用的机柜类型示例如下: 1台 HP D2700 2个戴尔MD1220 IBM EXP3524 以上每个都是2U直接连接的外部SAS驱动器机箱,可容纳约24 X 2.5“驱动器。 我说的是裸机壳,而不是驱动器。我知道企业级硬盘和消费者级硬盘之间的区别。 例如,价格低廉的HP D2700(25 X 2.5英寸驱动器)不含驱动器的价格约为1750美元(2012年12月在美国亚马逊上进行了检查)。低端HP DL360服务器的价格约为2000美元,其中包括CPU,RAM,母板,SAS RAID控制器,网络和用于8 X 2.5“驱动器的插槽。 当向客户或管理人员提供建议的带存储服务器的成本明细表时,由于机箱本质上是被动的(除非我误会了),所以机箱是一个重要的项目,这似乎很奇怪。 我的问题是: 我是否误解了SAS驱动器机箱的组件?它不只是一个带电源,SAS电缆和许多驱动器空间的无源机箱吗? 为什么成本看起来如此昂贵,尤其是与服务器相比时。鉴于所有组件的外壳并没有有(主板,CPU,内存,网络,视频),我期望的外壳是显著更便宜。 当前,在向客户推荐服务器时,我们的策略是避免因为机箱价格昂贵而建议使用外部驱动器机箱。但是,假设一个人不能在物理上将足够的驱动器装入基本服务器,并且客户端没有可用的SAN或NAS,则采用机箱是明智的选择。能够向客户解释为什么外壳成本如此之高将是一件很高兴的事。

8
写入速度要求:1.1GB / s可能吗?
我们将拥有一台正在运行的机器,该机器在达到最佳性能时,应该能够每小时推送50个(“写磁头”)x 75GB的数据。那是约1100MB / s写入速度的最高性能。要从计算机上获得该数据,它需要两条10GBi线路。我的问题是什么样的服务器+技术可以处理/存储这种数据流? 当前,对于数据存储,我们使用ZFS,尽管写入速度从来都不是问题。(我们甚至没有接近这些速度)ZFS(Linux上的zfs)是否可以选择?我们还需要存储大量数据,“ IT指南”建议总计在50-75 TB之间。因此,除非我们想为我们的长子提供孩子,否则可能不可能全部都是SSD。 根据出色的答复,添加了一些内容: 高峰期间最大为50x75GB /小时,少于24小时(最有可能是<6小时) 我们预计这种情况不会很快发生,很有可能我们将以每小时5-10x75GB的速度运行 这是pre-alpha机器,但是应该满足要求(即使有很多问号在起作用) 我们将使用NFS作为从机器到服务器的连接 布局:生成机->存储(这一个)->(安全团队6)->计算集群 因此读取速度不是必需的,但是从计算群集中使用它会很好(但这是完全可选的) 最有可能是大数据文件(不是很多)

3
调整iSCSI存储
这是有关iSCSI 的规范问题,我们可以将其用作参考。 iSCSI是一种协议,它将SCSI命令作为有效负载放入TCP网络数据包。因此,与光纤通道相比,它面临着一系列不同的问题。例如,如果链路拥塞并且交换机的缓冲区已满,则默认情况下,以太网将丢弃帧,而不是告诉主机减速。这导致重传,从而导致极少的存储流量出现高延迟。 有此问题的解决方案,具体取决于客户端操作系统,包括修改网络设置。对于以下操作系统列表,最佳的iSCSI客户端配置是什么样的?是否需要更改开关上的设置?那存储呢? VMWare 4和5 Windows Hyper-V 2008和2008r2 裸机上的Windows 2003和2008 裸机上的Linux AIX VIO 您碰巧认为其他任何相关的操作系统

3
Linux-实际硬件RAID控制器调整(scsi和cciss)
我管理的大多数Linux系统都具有硬件RAID控制器(主要是HP Smart Array)。他们都在运行RHEL或CentOS。 我正在寻找现实世界中的可调参数,以帮助优化设置的性能,这些设置将硬件RAID控制器与SAS磁盘(智能阵列,Perc,LSI等)和电池后备或闪存后备缓存结合在一起。假设RAID 1 + 0和多个主轴(4+个磁盘)。 我花了大量时间为低延迟和金融交易应用程序调整Linux网络设置。但是,这些选项中的许多选项都有充分的文档记录(更改发送/接收缓冲区,修改TCP窗口设置等)。工程师在存储方面正在做什么? 从历史上看,我对I / O调度电梯进行了更改,最近选择了deadline和noop调度程序来提高应用程序的性能。随着RHEL版本的发展,我还注意到SCSI和CCISS块设备的已编译默认值也已更改。随着时间的推移,这对建议的存储子系统设置产生了影响。但是,自从我看到任何明确的建议以来已经有一段时间了。而且我知道操作系统默认设置不是最佳的。例如,对于服务器级硬件上的部署而言,默认的128kb预读缓冲区似乎很小。 以下文章探讨了在块队列上更改预读缓存和nr_requests值对性能的影响。 http://zackreed.me/articles/54-hp-smart-array-p410-controller-tuning http://www.overclock.net/t/515068/tuning-a-hp-smart-array-p400-with -linux-why-tuning-really-matters http://yoshinorimatsunobu.blogspot.com/2009/04/linux-io-scheduler-queue-size-and.html 例如,建议对HP Smart Array RAID控制器进行以下更改: echo "noop" > /sys/block/cciss\!c0d0/queue/scheduler blockdev --setra 65536 /dev/cciss/c0d0 echo 512 > /sys/block/cciss\!c0d0/queue/nr_requests echo 2048 > /sys/block/cciss\!c0d0/queue/read_ahead_kb 还有什么可以可靠地调整以提高存储性能的? 我在生产方案中专门寻找sysctl和sysfs选项。

5
我需要RAID Fusion-io卡吗?
是否可以在服务器中安装单个Fusion-io卡的情况下可靠运行,还是需要在软件RAID设置中部署两个卡? 在审查他们的营销材料时,Fusion-io在这个主题上不是很清楚(几乎是误导),考虑到这些卡的成本,我很好奇其他工程师如何在现实场景中部署它们。 我计划将HP品牌的 Fusion-io ioDrive2 1.2TB卡用于在Linux上运行的专有独立数据库解决方案。这是单服务器设置,没有真正的高可用性选项。还有是,用10分钟的异步复制RPO该反射镜事务日志到第二物理服务器。 传统上,我将为高端HP ProLiant服务器指定该应用程序的最高CPU步进。我需要使用SSD,并且能够以低于企业SAS SSD的价格购买Fusion-io,以获得所需的容量。 我是否需要运行两张ioDrive2卡并将它们与软件RAID(md或ZFS)结合在一起,还是不必要? 除了担心RAID控制器故障或主板故障外,我还应该更多地关注Fusion-io故障吗? RAID等系统管理员。给定此外形尺寸中可用的接口和卡片上的磨损均衡/纠错功能,这是否需要不同的思维方式? 什么IS这些设备的故障率是多少? 编辑:我刚刚读了Dell 的Fusion-io可靠性白皮书,其收获似乎是“ Fusion-io卡具有很多内部冗余……不必担心RAID!” 。

2
ZFS数据丢失方案
我正打算建立一个大型的ZFS池(150TB +),我想听听人们关于由于硬件故障而造成的数据丢失情况的经验,特别是区分只有一些数据丢失的实例与整个文件系统的实例(即使在ZFS中也是如此)。 例如:假设由于外部驱动器机箱断电或控制器卡出现故障等原因导致vdev丢失。从我读到的内容来看,池应该进入故障模式,但是如果vdev返回了,池应该恢复吗?或不?或者如果vdev部分损坏,是否会丢失整个池,某些文件等? 如果ZIL设备发生故障会怎样?还是只是几个ZIL之一? 确实,任何由深厚的技术知识支持的轶事或假设方案都值得赞赏! 谢谢! 更新: 由于我们是一家小型企业(9人左右),因此我们以便宜的价格进行此操作,但是我们会生成大量的成像数据。 数据大部分是较小的文件,据我估计,每TB约有500k文件。 数据很重要,但不是超级关键。我们计划使用ZFS池来镜像48TB“实时”数据阵列(使用3年左右),并将其余存储空间用于“归档”数据。 该池将使用NFS共享。 机架应该位于建筑物的备用发电机线上,并且我们有两个APC UPS能够在满负载下为机架供电5分钟左右。


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.