ESXi 5.1 - 文件服务器的OS选项

在过去的黑色星期五，我把一个小盒子放在一起，打算用于soho VM实验室。

• i5处理器
• B75M-D3H技嘉主板
• 16GB的RAM
• 1TB希捷星座高清（SATA3）

我想在VM上运行一个简单的文件服务器。现在一切都坐在1TB希捷HD上，但我的计划是从现有的计算机上获取300GB的HD，并使用它来保存ESXi管理程序和各种VM映像。我需要esx服务器让我轻松调出工作图像。1TB将用作文件服务器的存储

我下载了FreeNAS和NAS4Free并将它们安装到单独的VM上。使用FreeNAS和NAS4free，我给了他们100GB硬盘，并将它们格式化为ZFS。然后我通过CIFS / SMB和NFS共享它们。我的环境是PC，Linux和Mac的混合体。

我在千兆局域网上。我开始做一些简单的测试。从Windows 7开始，我开始读/写不同大小的文件（10MB，400MB，1GB）。没有详细介绍，CIFS通常会击败NFS。在Avg上，CIFS达到~80MB / s，NFS~25MB / s。在NAS4Free上，NFS的速度大约为10MB / s

关于VM的一个注意事项，我能够安装VMXNET3驱动程序，因此他们都使用该NIC。

我的目标是拥有相对快速和稳定的文件服务器，并且管理开销较低。我意识到我不打算以这种方式破坏运行VM的任何性能记录。所以问题是：

1. 这些速度是典型的吗？我觉得我应该达到100MB / s的平均水平。
2. 我是否因为在VM上运行FreeNAS / NAS4Free而疯狂？我应该只使用Windows还是像Ubuntu这样的发行版？到目前为止感觉很多开销。
3. 我可以做些什么来调整ESX，FreeNAS / NAS4Free，NFS，ZFS以获得更好的吞吐量
4. 考虑到我正在尝试做什么以及我拥有的硬件，是否有更好的配置？

我没有提供更多信息，因为似乎更容易回答人们对我的设置可能遇到的任何问题。

提前致谢。

这些速度是典型的吗？我觉得我应该达到100MB / s的平均水平。

您没有指定您拥有的驱动器数量，而不是1TB（SATA3）。理论上你可以通过做RAID10（4个驱动器; 2对镜像然后两个条纹对）获得更多的果汁。仅此一项（没有真正的配置调整）可能会为您提到的所有类型挤出更好的读取。

我是否因为在VM上运行FreeNAS / NAS4Free而疯狂？我应该只使用Windows还是像Ubuntu这样的发行版？到目前为止感觉很多开销。

不，你不是疯了。事实上，我在ServerFault上提出了同样的问题。你试图在虚拟机上运行这些发行版并不是疯了。然而，特别是在VM中，特别是取决于VM虚拟机管理程序，这样做会有一些警告。使用Windows或Ubuntu可能更简单，或者更确切地说，FreeNAS / NAS4Free 是非虚拟化的。无需处理每个虚拟机管理程序的怪癖以及它如何对待客户或客户可以拥有的直接资源都可能是一场噩梦。到目前为止，我已尝试使用VMWare ESXi 4.1U3,5.1（已修补）和Hyper-V 2012（v3）。我设法让它在5.1（修补）上工作但是花了很多时间和精力才能完成所有工作工作正常。我要写博客，因为我觉得我只是去了Mordor放下一枚戒指。

我可以做些什么来调整ESX，FreeNAS / NAS4Free，NFS，ZFS以获得更好的吞吐量

我认为我的第一个答案涵盖了这一点，但我将特别针对ESX，ZFS和FreeNAS，因为这是我的确切设置。

• ESXi：在FreeNAS中使用ZFS进行性能的最佳选择是直接访问磁盘。在hypervisor术语中，这被称为passthrough（或VMWare中的PCI-passthrough）。这意味着FreeNAS可以访问它将要使用的每个磁盘，而无需在ESXi中使用vmdk文件; 这最终意味着更好/更快的性能。在从多个来源继续阅读关于ZFS之后，很明显，对于ZFS来说，更少的是。不要得到花哨的RAID卡。这对冗余或性能没有帮助。ZFS喜欢无阻碍的直接磁盘访问。JBOD模式下的SAS HBA（主机总线适配器）几乎是可行的方法。 VMWare用于SAS HBA 的HCL有点受限，但FreeNAS社区非常适合查找兼容的卡，而且还有http://ultimatewhitebox.com可能会有所帮助。
• ZFS：我会把你推荐给这个人：http：//constantin.glez.de/blog/2010/01/home-server-raid-greed-and-why-mirroring-still-best。他的文章解释了为什么镜像比做RAID-Z更好。我曾经是RAIDZ / 5/6阵营，但在阅读了这篇文章并思考了一些之后，我已经切换到镜像和条带化（RAID10 / 01）。它更容易，更快捷。
• FreeNAS：我喜欢FreeNAS 8.3。这是一个坚实的发行版。我对FreeBSD知之甚少，但我正在研究它。在VM中运行FreeNAS是可行的，但是一旦你将HBA引入等式，事情就会变得有些冒险。就我而言，我遇到了一些问题。即，让FreeNAS从LSI SAS HBA查看磁盘是痛苦的。直到我在为VMWare ESXi 5.1声明的论坛帖子中发现了一个帖子，你需要从VMWare应用3个补丁来修复直通，我能够继续前进。将修补程序应用到ESXi后，我能够在FreeNAS中看到磁盘，我不得不处理VMXNET3问题。幸运的是，我找到了在FreeNAS中安装VMWare工具的好指南。之后，我遇到了可爱的IRQ中断风暴（伟大的错误名称，对吗？） - 其中没有100％明确的解决方案。经过几个小时的故障排除后，我设法确定我必须在主机的BIOS上禁用ACPI。欢迎来到vmguest疑难解答地狱。（请记住，这是我最后一次成功的尝试;我获得了VMWare ESXi 4.1U3和Hyper-V 2012核心的保留）。我估计我花了大约24个多小时试图让它工作（所有3个虚拟机管理程序的总数）。

考虑到我正在尝试做什么以及我拥有的硬件，是否有更好的配置？

好吧，通过阅读您的零件清单，我认为您需要更多磁盘和可能兼容的SAS HBA才能让您的FreeNAS VM直接访问您的磁盘。这将改善性能，但你的里程可能会有多大改善。让VMXNET3正常工作是网络性能的重要推动力; 避免使用E1000会降低网络吞吐量。

TL; DR

• 与VM客户相比，具有ZFS 原生的 FreeNAS 远远，远，远，更容易做到。
• 如果您必须在VM中使用FreeNAS，则您有义务调查所有发挥作用的硬件方面：
  1. CPU（AMD-V，Intel VTx）
  2. 芯片组虚拟化支持（IOMMU，AMD-Vi，Intel VTd）
  3. I / O虚拟化（IOV / SR-IOV）
  4. 网络虚拟化（VT-c）
  5. SAS HBA和兼容性。
  6. 不要忘记管理程序！
• FreeNAS的可能/会吓坏了关于资源（IRQ中断风暴到有没有神奇的灵丹妙药），所以你不必做一些故障的几率更比可能
• 避免使用RAIDZ花式忍者存储，以便更快，更轻松地进行镜像和/或镜像/条带化
• 即使它全部兼容，也没有真正的100％保证这一切都能正常工作。我还建议在你的磨难之前，期间和之后进行治疗。

读完之后感觉到了吗？也许你疯了。见鬼，也许我疯了。