为什么数据中心的水冷却没有普及?


19

根据我对数据中心的了解和了解,没有太多使用水冷的服务器机房,而且最大的数据中心都不使用水冷(如果我错了,请纠正我)。此外,使用水冷来购买普通PC组件相对容易,而水冷式机架服务器几乎不存在。

另一方面,可以用水(IMO):

  1. 减少大型数据中心的功耗,尤其是如果可以创建直接冷却的设施(即,该设施位于河流或海洋附近)的话。

  2. 减少噪音,减轻人们在数据中心工作的痛苦。

  3. 减少服务器所需的空间:

    • 在服务器级别,我想在机架式和刀片式服务器中,通过水冷却管要比浪费空间让空气通过更容易,
    • 在数据中心级别,如果仍需要保留服务器之间的小巷以维护对服务器的访问权限,则可以除去地板下和天花板上用于空气传输的空白空间。

那么,为什么在数据中心级别或机架/刀片服务器级别上水冷系统都没有普及?

是因为:

  • 水冷却在服务器级别上几乎是多余的吗?

  • 与普通数据中心相比,水冷设施的直接成本太高了?

  • 很难维护这样的系统(定期清洁使用河水的水冷却系统比仅真空清洁风扇要复杂得多且成本更高)?

Answers:


29

水+电=灾难

水冷比空冷具有更高的功率密度;因此,请计算出额外密度所节省的成本(除非您的空间有限,否则可能不会节省成本)。然后计算水灾风险的成本(例如1%*您的设施成本)。然后做一个简单的风险回报比较,看看它是否对您的环境有意义。


使设施适应水冷却确实非常困难且昂贵。他们需要使用下面的集水设施来应对泄漏。许多DC的电源来自下方。
马特

“水冷”通常使用油,而不是水,它既不是电导体也不是氧化剂
Adrian Maire 2015年

@AdrianMaire水的比热为4.2;而大多数机油的价格在1.5至2.0范围内。这意味着油在传热方面的效率不到水的一半。热交换器,管道,泵都需要大2-3倍。我从未见过任何“水冷”系统使用油,只是YouTube上的一个人将其计算机放在装有矿物油的鱼缸中。
克里斯S

@ChrisS鱼缸概念应用于数据中心edgeense.com/libvirtblog/2014/3/30/…–
xverges

因此,请使用非导电油。您尚未回答根本问题,而是专注于语义细节。
MarcusJ '16

22

因此,我将在服务器部分中打破我的答案:

  • 水与空气和矿物油的物理性质
  • 用水风险和历史不良经验
  • 冷却数据中心的总成本
  • 经典液体冷却系统的弱点

水的物理性质与其他相比

首先是一些简单的规则:

  • 液体可以比气体传递更多的热量
  • 蒸发液体提取更多的热量(用于冰箱)
  • 在所有液体中,水具有最佳的冷却性能。
  • 运动的流体比不运动的流体更好地散热
  • 湍流需要更多的能量来移动,但比层流更好地吸收热量。

如果您比较水和矿物油与空气(相同体积)

  • 矿物油比空气好约1500倍
  • 水比空气好3500倍

  • 在任何情况下,油都是不良的电导体,并用于冷却大功率变压器。

  • 取决于其确切类型的油是一种溶剂,并且能够溶解塑料
  • 如果水不是纯净的(包含矿物质...),则水是良好的电导体。
  • 水是一种很好的电解质。因此,与水接触的金属可以在一定条件下溶解。

现在,我对上面所说的内容发表一些评论:在大气压下进行比较。在这种情况下,水会在高于处理器最高温度的100°C下沸腾。因此,用水冷却时,水会保持液态。用矿物油或氟利昂(冰箱中使用的有机物)之类的有机化合物进行冷却是某些应用(发电厂,军用车辆等)的经典冷却方法,但长期不使用与塑料直接接触的油进行冷却在IT部门。因此,它对服务器部件的可靠性的影响是未知的(Green Evolution没说是这样)。使您的动作流畅很重要。依靠不移动液体内部的自然运动来消除热量效率很低,并且很难在没有管道的情况下正确引导液体。由于这些原因,

技术问题

使空气流动很容易,泄漏不会对安全构成威胁(提高效率)。它需要大量空间并消耗能量(台式机消耗的15%归风扇所有)

采取液体行动很麻烦。您需要将管道,冷却块(冷板)连接到要冷却的每个组件,水箱,泵,也许还有过滤器。此外,维修这种系统非常困难,因为您需要清除液体。但是它需要更少的空间并且需要更少的能量。

另一个重要的一点是,关于如何基于带有散热风扇的基于空气的系统设计主板,台式机和服务器的研究和标准化工作已经很多。并且所得的设计不足以用于基于液体的系统。更多信息,请参见formfactors.org

风险性

  • 如果您的设计做得不好,水冷却系统可能会泄漏。热管是没有泄漏的液体基系统的一个很好的例子(更多信息请看这里
  • 普通的水冷却系统仅冷却热的组件,因此仍然需要其他组件的气流。因此,您有2个冷却系统,而不是1个,并且降低了空气冷却系统的性能。
  • 采用标准设计时,如果渗水接触到金属零件,则有造成大量损坏的巨大风险。

备注

  • 纯净水是电的不良导体
  • 电子元件的几乎每个部分都涂有不导电涂层。只有焊垫不是。所以几滴水可能是无害的
  • 现有技术解决方案可以减轻水风险

冷却空气会降低其容纳水(湿气)的能力,因此存在凝结的风险(对电子设备不利)。因此,当您冷却空气时,需要除去水。这需要能量。人的正常湿度约为湿度的70%,因此冷却后可能需要将空气中的水分倒回人们手中。

数据中心的总成本

当您考虑在数据中心散热时,必须考虑其中的每个部分:

  • 调节空气(过滤,除去多余的水分,四处移动...)
  • 切勿将冷热空气混在一起,否则会降低效率,并存在热点(未充分冷却的点)的风险
  • 您需要一个系统来提取多余的热量,或者您必须限制热量的产生密度(每个机架上的服务器更少)
  • 您可能已经有管道将房间的热量带走(将热量传送到屋顶)

数据中心的成本取决于其密度(每平方米的服务器数量)和功耗。(其他一些因素也要考虑在内,但本讨论中没有考虑)整个数据中心的表面分为服务器本身,冷却系统,公用事业(电...)和机房使用的表面。如果每个机架有更多服务器,则需要更多散热空间,因此需要更多的散热空间。这限制了数据中心的实际密度。

习惯

数据中心是高度复杂的东西,需要很高的可靠性。数据中心停机原因的统计数据表明,停机时间的80%是人为错误引起的。

为了获得最佳的可靠性,您需要大量的步骤和安全措施。因此,从历史上看,数据中心中的所有程序都是针对空气冷却系统进行的,并且如果未从数据中心中禁止用水,则必须限制水的最安全使用。基本上,水不可能与服务器接触。

到目前为止,还没有公司能够提供足够好的水冷却解决方案来改变事实。

摘要

  • 从技术上讲水更好
  • 服务器设计和数据中心设计不适合水冷
  • 当前的维护和安全程序禁止在服务器内部使用水冷
  • 没有任何一种商业产品足以在数据中心中使用

2
狂热地深思熟虑的答案,非常有见地。
Alex KeySmith'1

3
在所有液体中,水具有最佳的冷却性能。 这是不正确的。参见这里进行轶事比较。汞的导热系数是水的12倍以上。
Xalorous

9

虽然我们确实有一些水冷式机架(实际上是HP机架,不知道它们是否仍在制造),但如今直接水冷还是有点老套了。大多数新的大型数据中心都建有吸入通道,您可以将其推入机架,然后将周围的空气吸入并排出或回收,以收集通过设备收集的热量。这意味着完全无需冷却,并且可以节省大量的能源,复杂性和维护成本,尽管这确实限制了系统只能使用非常特定的机架/尺寸,并且需要在机架的前部“腾空”空闲的机架空间。


您是否有任何示例/资料描述了这种基于抽吸的冷却系统?
克里斯·西尔斯

@ChrisSears-看看这个地方,他们几乎是大规模开始这样做的第一个地方;theregister.co.uk/2008/05/24/switch_switchnap_rob_roy
Chopper3

暖通空调中的@ChrisSears表示这是抽水式系统。当您要从中抽出相对静态的通风室时,最好使用穿通。抽吸空气所需的能量少于迫使空气通过阻塞路径所需的能量。
Xalorous

@ Chopper3您所描述的抽气系统是将经过调节的空气从气室中抽出,通过机架进入HVAC系统,然后在空调系统中进行调节,然后再送回到气室中。。相同的功能适用于热行/冷行设置。空气回流在热排上方,供应在冷排上方。当前(2016年)的最佳实践似乎是在地板空间中为增压通风系统提供空调。从机架上方输送回风。机架通常是密封的(无通风孔)。机架之间的空间几乎是无条件的。但是,湿度控制需要调节。
Xalorous

6

水是通用溶剂。如果有足够的时间,它将吞噬一切。

水冷却还会给您在帖子中提到的数据中心增加相当大(且昂贵)的复杂性。

出于某些非常具体的原因,大多数数据中心的灭火系统均不含水,在许多情况下,水的损害可能大于火灾的危害,并且由于数据中心的正常运行时间(配有备用发电机等) ,这意味着将电源切断(在发生火灾时)以喷水是很困难的。

因此,您能想象如果您的数据中心中有某种类型的复杂水冷却系统,那么在发生火灾时可以消除鬼影吗?kes。


3

我认为简短的答案是它增加了相当大的复杂性。这不是空间问题。

如果您要处理大量的水(管道,径流等),则会增加很多风险...水和电混合得不好(或者混合得太好,取决于您的外观)它)。

水的另一个问题是湿度。大规模地将所有的空调系统循环使用。然后是蒸发产生的矿物质积聚,毫无疑问,还有其他我没想到的其他事情。


3

不应将水用于数据中心冷却,而应将矿物油与电很好地混合在一起。参见http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

即使解决方案是新技术,技术也已经很老了,但是要对现有数据中心进行这种类型的更改却变得非常困难,因为您需要用新型机架替换现有机架...


3
我不同意抱歉,我们有水冷式架子,装满的那天我在那儿,那是纯净的普通水。
Chopper3 2011年

哇-那怎么运作的?-你有细节吗?
silviud 2011年

它们是HP-贴牌架(不知道谁是原始制造商是,威图的可能?他们是他们大约2年前出售,但现在我会看看,如果他们仍然是。
Chopper3

谢谢-在h10010.www1.hp.com/wwpc/us/en/sm/WF06a/上找到了一个…………看价格……
silviud 2011年

是的,那就是那个,不确定他们是否仍在我所在地的英国出售它们,从来没有想过要在美国的网站上看。我们在需要大量服务器的密闭空间中使用它们。
Chopper3 2011年

2

数据中心不使用水的最大障碍是大多数水冷却系统都是原始的。它们都需要快速连接才能将服务器连接到机架中的水源,而这些都是故障的根源,特别是当您可能有成千上万个DC设备时。它们还会使服务器的维护更加困难,在大多数情况下,您仍然需要风扇。所以您增加了复杂性。

从人的角度来看,大多数设施经理都拒绝改变。他们在空气冷却方面非常熟练,而改用液体会使这些技能过时。此外,每家工厂的OEM都会抵制更改,因为这意味着要重做完整的产品线。

变化只会伴随着a)更好的液体冷却设计和b)强制改变的立法


1

它们确实可以,但是您需要定制的工程组件,OVH(世界上最大的数据中心公司之一)使用水冷技术已有10多年的历史了。

查看此链接,您可以在其中看到他们的架子:http : //www.youtube.com/watch?v=wrrZxmfevoE

经典公司的主要问题是您需要进行一些研发才能使用这种技术。


很多DC都在“自带服务器”,但不一定适合该模型。
马特

0

如果您拥有纯净水,则水冷约会中心非常高效,并且可以节省能源成本。但是,如果紧密接触,危险就更大。1)湿度/湿度等级
2)水接触电。


2
您是否有参考资料来证明水冷却效率更高?似乎需要更多的能量才能将水抽到周围,然后使用风扇将其排放到大气中。闭环冷却系统中的水将如何影响湿度/湿度水平?
克里斯·S

@Chris S,空气的传热系数为10至100 W / m2K,而水为500至10,000 W / m2K。这为您带来了显着的密度优势,您可以在其他地方使用大型热交换器进行组装。考虑良好的并行性的汽车冷却液系统。
朱迪C

@Jodie,您必须投入更多的能量来泵送水,并投入更多的能量来推动更大的散热器上的额外空气。散热器必须放在某个地方。多余的能量和水冷却装置一样,要付出更高的维护成本。而且,传递系数适用于介质内;希望您不建议CPU与水直接接触。可能有一个具有自己的电导率额定值的密封装置。效率比所选介质的热传递系数要重要得多。
克里斯·S

@Chris S,不,您不会投入更多精力。抽水成本极低,而且热交换器的面积更大,这意味着您不需要大功率风扇即可推动密集的翅片布置。空气冷却设备的部分问题在于,您必须迫使大量空气通过狭窄的空间,而同时您又试图尽可能多地将表面积塞入其中。这是台式热管冷却器普及的原因之一。在1U的40mm 15krpm风扇上堆放起来很快。
朱迪·C

@Chris S,例如每个CPU使用4ea 40mm 20cfm风扇时,您看到的风扇功率仅为35W,而6W时只有120MM 105CFM。Eheim 1048足以满足135W TDP的需求,并消耗10W的功率。因此,现在您的系统效率为16W。
朱迪·C

0

实际上,水可能不是最好的液体。如所指出的,随着时间的流逝,它会溶解一切。当然,水在冷却应用中具有很好的用途,但周围环境并非最佳。但是,矿物油也可能发挥作用,它也不是最佳选择。

特殊的传热油与水不同,它们是非腐蚀性的,专门设计用作传热流体。Paratherm已经制造了各种各样的产品。

问题将是将物料连接到闭环换热器上,而我们正在谈论数量众多。

该解决方案已经完成,但不适用于电子环境,它源自农业机械。液压系统就是这个名字。快速卡扣软管的端部是防漏的,如果由于任何原因将其断开连接,它们也会自行关闭公端和母端。最糟糕的是,断开连接时,液滴的数量将不超过1-2个。

因此,我们可以消除这一部分。然而,设计适合每个需要冷却的单个芯片/电路的合适的铜零件是一项艰巨的任务。与液体冷却的情况一样,每个需要消除多余热量的零件都必须覆盖。需要相对较高的压力泵,压力传感器和减速器,以确保每个机架都有适当量的液体循环并防止故障。也将需要电子截止阀。这并不是什么新鲜事物,因为这些零件已经制成,即使最初是出于不同的意图。许多小型风扇具有冗余的优势,因此需要多个泵单元以防止单点故障的机会。

除此之外,如果这是一个真正的闭环循环,那么移动低粘度的传热流体而不是大量的空气自然会得到回报。

实际上,它有多种方法可以做到这一点。首先将减少空调成本和风扇运行成本。永远不要低估这些费用。即使是小型风扇也可能需要几瓦的功率,并且一段时间后风扇确实会出现故障。考虑到此应用程序所涉及的低压,液压泵可以运行24/7年,而用大量的风扇代替。下一步,与台式机相比,服务器级芯片能够承受滥用,并且可以在很高的温度下运行。即使这样,也要保持它们凉爽,预期寿命会更长,考虑到这些东西的价格,这绝不会被低估。不再需要进行空气过滤以防止灰尘和湿气。

这些因素远远超过了这种冷却技术的缺点。但是,初始投资较高。该解决方案当然可以提供更高密度的服务器设置,但目前数据中心根本不考虑投资。重建现有的冷却解决方案需要时间,而时间就是金钱。维修也非常容易,因为根本不需要笨重的散热器,也不需要风扇。需要牢记的是,减少潜在故障点的数量(每个风扇都是其中之一),冗余泵也可以在没有操作员任何干预的情况下启动。风扇也会自行发热。考虑一个内部装有20个风扇且功率不超过5瓦的单元。最终结果将是另外消除100瓦特的热量。泵和驱动马达也会产生热量,但不在机架内。与目标系统隔离和隔离。如果发生短路,例如电源有源元件短路,则这种液体冷却实际上可以传递足够的热量,因此可以减少火势蔓延的可能性。让新鲜空气靠近火炉并不是最好的方法。塑料零件也会熔化,塑料零件也易燃。传热流体将在风扇会融化的温度下愉快地运行,从而有可能导致其他短路源。塑料零件也会熔化,塑料零件也易燃。传热流体将在风扇会融化的温度下愉快地运行,从而有可能导致其他短路源。塑料零件也会熔化,塑料零件也易燃。传热流体将在风扇会融化的温度下愉快地运行,从而有可能导致其他短路源。

那么液体冷却会危险吗?从安全角度来看,我认为成堆的小型风扇要危险得多。从使用寿命的角度来看,我认为液体冷却是更可取的。唯一的缺点是人员培训和初期投资。除此之外,这是一个更加可行的解决方案,即使在中期,也能获得不错的回报。


-4

它可以很好地工作,但是要设置成千上万台机器既昂贵又费时,并且占用大量空间。加上它没有必要。游戏平台有很多方法可以封闭在一起。任何通风良好的设备,即使运行100%的70f气流,也能正常工作,这几乎是他们从未做过的。


2
游戏装备?这和什么有关系,这是SERVERfault
Chopper3

3
看来您是Stack Exchange的新手,欢迎您。请注意,与欢迎讨论的论坛不同,Stack Exchange面向的是基于专业知识的客观答案。数据中心非常昂贵,而且无论如何要建立数千台计算机非常耗时。说到空间,可以很容易地在1U中设置水冷。由于您将服务器与游戏PC进行了比较,因此您知道什么是刀片或什么是高密度计算吗?至于“通风良好/ 70°F气流”,您从未访问过数据中心,对吗?
Arseni Mourzenko 2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.