如何最大限度地提高性能EC2实例

免责声明：我是服务器领域的前端开发人员。

嗨，大家好。我在EC2上有一个服务器实例c5d.9xlarge，其规格为：

系统：Ubuntu 18.04
vCPU：36个线程/内核
记忆体：72 GB
储存空间：900 GB NVMe SSD
专用EBS带宽：7,000 Mbps
网络性能：10 Gbps

场景：我使用此服务器上传大型视频（4K，1小时以上）并使用FFMPEG处理它们，但是与我以前的具有12个核心和48 GB RAM的UpCloud服务器相比，此EC2服务器的上传和处理时间要长1.5倍，我认为情况并非如此。

问题：如何为所支付的费用最大化性能？

ubuntu amazon-web-services amazon-ec2

— Martavis P.
source

您应该查看AWS Elastic Transcoder的成本，以了解它是否更适合您。

— 蒂姆（Tim）

谢谢@Tim。我前一阵子见过，但实际上在该服务器上还有几个电话，所以我想将它们合并。

— Martavis P.

Answers:

您c5d.9xlarge随附900GB实例存储（又名临时存储）-您是否正在使用该存储来存储和处理文件？尽管您的实例具有一些专用的EBS带宽，但实例上的SSD存储仍将更快。我建议您将其用于所有源文件和临时文件，并将结果仅存储到EBS。

但是有一些关于实例存储的警告：

您必须先格式化并挂载它才能使用。有关更多详细信息，请参考此答案：在Ubuntu 16.04中的AWS EC2上自动装载SSD实例存储
当您停止并重新启动实例时，将擦除内容。它可以在重新启动后幸存下来，但不能停止/启动。

更新：默认情况下未安装SSD-您必须按照上面链接的答案中的步骤使用它。在启动后的标准配置中，您将使用比SSD慢的EBS。

然后，您必须确保您确实在使用它 -将upload，working和临时目录设置到该SSD挂载点。

甚至更好-由于您具有72 GB的RAM-创建一个RAM磁盘并将其用于临时文件。这将比SSD更快（如果文件适合）。

首先，不考虑上传速度并优化处理-将文件上传到EBS并安排时间，然后上传到SSD并安排时间，然后到RAM磁盘并安排时间。看看它们有多少不同。

上载速度将受到许多方面的影响，包括您与您要上载到的AWS区域之间的距离和延迟。您是否正在使用靠近您的AWS区域？

关于CPU的性能 -您有36个可用的CPU，但是每个单核可能会比以前的12核计算机中的核慢。这取决于CPU架构和时钟速度。但是，如果您可以将视频处理并行化为36个线程，那么在这种情况下效果更好。如果仅依靠一个线程，则可能无法获得所需的性能。

希望有帮助:)

— 陆军
source

是的，硬盘驱动器用于在文件处理过程中和文件处于临时状态时进行存储，直到过程完成为止。结果文件将发送到S3。我实际上不知道是否安装了SSD。我开始意识到AWS并未将规范用作默认设置。安装SSD是否可以加快上传速度？跟进：有什么想法可以最大化允许的CPU规格吗？

— Martavis P.

@MartavisP。在答案中添加了一些更新。

— MLu

哇，非常感谢您提供的信息！我将研究并应用您所写的内容。

— Martavis P.

好答案。您需要进行基准测试以找到瓶颈，然后将其分解为上载时间，处理时间，CPU使用率，EBS /网络使用率等。这可能很简单，因为该服务器的延迟时间较长，因此上载速度较慢，您可以通过将并行线程中的数据上传到EC2 / S3来解决此问题。Netflix 在youtube上有此视频，可能会很有趣，但请先进行诊断，然后再考虑此类细节。

— 蒂姆（Tim）

是否有其他选择的余地？对于的成本c5d.9xlarge，即使您获得了很大的折扣，在专用服务器市场中，您也可以拥有几台同等或更好的机器

使用云解决这种垂直扩展的问题是过度支付的秘诀，而且如您所见，性能差

很抱歉无法回答，但我没有足够的代表发表评论

— 卢克
source

从UpCloud切换到这对我来说是一个折扣。那么您有什么建议呢？

— Martavis P.

似乎在云中相同的计算总是大约是某个随机Web托管商每月租用服务器价格的4倍。然后，有企业折扣（〜30％），您可以预订3年（便宜2倍，但现在比该随机Web托管商差很多）。每月租用的服务器通常似乎是直接购买硬件的价格的1/12。至少我是这样。因此，您每三个月在云中购买一次硬件，但您并不拥有它。

— usr

是的，这很好，但是您必须记住，您要像生活中的任何事情一样为维护和便利付出代价。我宁愿让AWS成为我的机械师，也不愿花几天时间试图弄清楚如何解决服务器故障。有很多知识，但是最终我的职业是代码，因此云为我工作。

— Martavis P.