如何调整linux机器以提高平均CPU负载和CPU利用率

0

我们正在使用巨大的hadoop集群。

我们有736个datanode机器，每个节点有16个核心X 2线程。

在某些计算机上，我们看到了平均CPU负载（98-128 5分钟）。

经过深入调查，我们发现：

no HW problem
no Disk proble
no network problem
no infra problem

我们仍然没有检查关于调整linux参数和调整内核参数。

有哪些参数或任何内核参数可以帮助机器在大多数CPU LOW负载平均下获得良好的CPU工作。

linux central-processing-unit process cpu-usage load-average

— 沙洛姆
source

1

如果集群很大，那么您应该对可以在何处提高运行的软件负载的性能有所了解，这已经超出了一般调整建议的范围。

— Bob Dole

这实际上是最终用户性能的问题吗？实际问题的症状包括更长的作业执行时间，减少的数据量或更长的交互式响应时间。

— John Mahowald

0

我认为您是在CPU高峰时运行hadoop作业，如果这样，资源消耗取决于作业的作业复杂性和定义的参数。我希望你也这样做吗？纱线是资源密集型应用。请使用资源队列来调节资源消耗。

— Asktyagi
source

0

性能调优是一个复杂而又广阔的领域。要考虑硬件，内核参数，软件设置，设置体系结构以及更多因素。

当您运行大型设置时，有必要深入该领域，因此，我建议先阅读《 RHEL性能调优指南》。这应该提供有关该主题的良好指南，并包含各种建议和想法。

您的问题所包含的信息和细节太少，无法在内核参数调整的方向上提供合理的建议。

— 哈古特
source