服务器机房中有东西在燃烧。如何快速识别它是什么？

前几天，我们注意到服务器机房发出强烈的燃烧气味。长话短说，它最终成为UPS单元中正在燃烧的电池模块之一，但花了好几个小时才能够弄清楚。我们能够弄清楚的主要原因是，UPS显示屏最终显示需要更换模块。

问题出在这里：整个房间充满了气味。进行嗅探测试非常困难，因为气味已经渗入所有东西（更不用说它使我们头昏眼花了）。我们几乎错误地关闭了生产数据库服务器，因为它是最臭的地方。活力似乎还不错（CPU温度显示60摄氏度，风扇速度也不错），但我们不确定。碰巧的是，烧坏的电池模块与机架上的服务器的高度大致相同，并且只有3英尺远。如果这是真正的紧急情况，我们将惨败。

实际上，实际的服务器硬件被烧毁的机会很少发生，而且在大多数情况下，我们将UPS视为罪魁祸首。但是，如果使用带有多个设备的多个机架，它很快就会成为一种猜测游戏。如何快速准确地确定实际上正在烧毁的设备？我意识到这个问题在很大程度上取决于环境变量，例如房间大小，通风，位置等，但是任何输入都会受到赞赏。

普遍的共识似乎是您问题的答案分为两个部分：

我们如何找到有趣的燃烧气味的来源？

您已经很好地确定了“如何”：

• “嗅探测试”
• 寻找可见的烟雾/阴霾
• 使用红外热像仪在房间中走动以发现热点
• 检查监控和设备面板上是否有警报

您可以通过多种方式来提高发现问题的机会-改进监控通常是最容易的。一些问题要问：

• 您是否从设备获得温度和其他健康警报？
• 您的UPS系统是否向监控系统报告故障？
• 您是否从配电设备收到电流消耗警报？
• 房间烟雾探测器是否正在向监控系统报告？（可以吗？）

什么时候应该进行故障诊断而不是击中“大红色开关”？

这是一个更有趣的问题。
击中红色的大开关可能会急忙使您的公司损失巨额资金：清洁剂的释放可能会花费数万美元，并且在紧急关闭电源之后发生中断/恢复的费用（EPO，“放弃房间” ）可能是毁灭性的。
您不希望掉落数据中心，因为电源中的电容器突然弹出并散发出房间的味道。

相反，服务器机房火灾可能使公司的数据/设备（更重要的是员工的生命）损失。
对“那可笑的燃烧气味”进行故障排除绝不应该优先于安全，因此，有一些明确的规则来对“点火前”状况进行故障排除很重要。

遵循的准则是我的个人限制，在没有其他明确定义的程序/规则的情况下（或除了这些规则之外），我会受到限制 -它们为我提供了很好的帮助，可能会为您提供帮助，但也很容易使我被杀或明天开除，请自担风险。

1. 如果发现冒烟或着火，请放下房间。
   不用说，还是这样吧：如果有活跃的火灾（或烟雾表明很快会出现），请撤离房间，切断电源，并释放火抑制系统。
   可能存在异常（行使一些常识），但这几乎总是正确的操作。

2. 如果您要进行故障排除，请务必至少让其他人参与。
   这有两个原因。首先，您不想在数据中心中四处走动，突然间，在您要走的那排上放了一个机架，没人知道您在那里。其次，另一个人是您进行故障排除或放弃房间的健全性检查，并且如果您致​​电致电Big Red Switch，您将获得第二人同意这一决定的好处（有助于避免职业限制）以后是否有人质疑的决定）。

3. 故障排除时
   请采取谨慎的安全措施确保您始终有逃生路径（行的开口端和通往出口的清晰路径）。
   让某人驻守在EPO /灭火发布中。
   随身携带灭火器（请携带哈龙或其他清洁剂）。
   记住上面的规则1。
   如有疑问，请离开房间。请注意呼吸：使用呼吸器或氧气面罩。如果发生化学火灾，这可能会挽救您的健康。

4. 设置一个限制并坚持下去
   更准确地说，设置两个限制：

   • 条件（“我会让它变得更糟吗？”）和
   • 时间（“我将继续尝试找到问题的风险有多久？”）。

   您设置的限制，也可以用来让你的团队开始患处的有序关闭，所以当你DO拉你不崩溃一群活跃的机器的电源，恢复时间会更短，但要记住，如果有序关闭的时间太长，您可能必须以安全为名让一些系统崩溃。

5. 相信您的直觉
   如果您随时担心安全问题，请取消故障排除并清理房间。
   您可能会或可能不会因直觉而掉下房间，但是出于（相对）安全的考虑，在房间外重新分组是明智的。

如果没有迫在眉睫的危险，则可以选择采取当地的消防部门，然后再采取诸如EPO或清洁剂释放之类的严厉措施。（他们可能仍然告诉您这样做：他们的任务是保护人员，然后是财产，但显然，他们是扑救火灾的专家，因此您应该按他们说的做！）

我们已经在评论中解决了这个问题，但也可能会在一个答案中进行总结-@ DeerHunter，@ Chris，@ Sirex，以及其他许多人为讨论做出了贡献

热像仪可以完成这项工作，并让您确定过热的地方。这样的设备可以让您识别烟雾弥漫的房间中火灾或燃烧的起源。

您不做任何已经说过的事情。您离开危险环境，是因为从整个房间抽出的任何东西都会危害您的健康，甚至可能使您的肺部混乱。如果您找不到在房间里燃烧的刺鼻气味，请致电（911 | 112 | 999 |无论您遇到的紧急情况，请拨打紧急电话），让火（公司|大队）将其扑灭。装瓶装的空气。

电脑零件中包含各种有趣的化学物质，包括汞，镉，铅和许多塑料外壳。请注意，我所做的所有链接都说明了低强度曝光如何造成持久的损害，甚至导致快速死亡。这是一种可能立即威胁生命和健康的环境。

...的确如此，如果有什么东西在燃烧，请不要花数小时来闻烟气。如果您无法识别它并立即采取行动将其包含，请出去。

如果您在UPS上进行了适当的监控（通常是通过SNMP），则设备本身应该会在监控系统上敲响钟声。如果没有，请与您的供应商联系。它出现故障或您的监视系统配置不正确。

如果活动的东西实际上正在燃烧，则应该以某种方式对其进行抱怨，或者只是脱离网络，这也将引起警报。

如果它像实际的电源线一样通过绝缘层燃烧，而不是在智能PDU上，那么我们回到您的原始问题，即“如何找到燃烧的东西？” 我认为正确的答案是“点击EPO并找出答案。您的生产服务器可能不足以冒生命危险。”

这是其中一种情况

不适用，您应该致电专业人士

其他任何事情都只是愚蠢的。

作为以前从事电子技术工作的人，我曾经历过“燃烧的气味”而不是火。这并不少见。

我不会因为气味而关闭数据中心。烟雾是另一回事，确实有东西在燃烧（通常，但是豌豆大小的钽电容器也可以充满烟雾）。令人惊讶的是，电源中油炸的成分能散发出多少气味。

TIC或IR温度计（一种有用的工具，比TIC便宜得多）不一定会显示出来，因为该组件根本不会产生太多热量，而且它在箱子内。但是，请检查设备是否无法正常运行，并使用监视工具。对于这样的气味，那么95％的时间将是影响整个设备性能的电源。

我喜欢红外成像或温度计的答案，但也许还有帮助的是真正的“气味检测器”。毕竟引起您注意的是气味。烟雾，热量，红外线等都是替代物。

事情是这样的一个：。我个人从未使用过它们，甚至从未在数据中心中使用过它们。但至少从理论上讲，它应该是一种简洁的工具。如果您有钱可以花在这个Gizmo上。

http://www.sca-shinyei.com/odormeter 或 http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

它为您提供气味强度以及分类。因此，应该可以闻到气味。魔鬼当然在细节上。它有多敏感，掩盖了虚假的背景气味等。

与纯粹基于温度的测量相比，优点之一是，气味通常会在更早的点或阈值处出现。或者，如果过热的部件被身体/隐藏的布线等遮盖，则比视线热点更容易检测逃逸的分子。

另一种情况是与热量无关的气味。之前我们有冷却回路泄漏，而且冷却液的气味也很奇怪。我什至不愿讨论现在古老的管道中啮齿动物死亡的案例。:)

我惊讶于这些传感器的灵敏度。可以检测到亚ppm级水平的H2S /硫醇等（通常是罪魁祸首）。