解析远程文件


0

我有两个系统。我在一个系统(A)上有一些日志文件,每小时生成一次。我想从另一个系统解析这些文件(B)。 一种方法是复制文件,然后在(B)上解析它们。但是这将消耗大量的带宽来复制,如果我解析原始系统(A)上的文件,它将增加CPU利用率,这是我必须避免的。

有人可以提出最佳的做法吗? 简单来说,我想要的是:使用系统B来解析位于远程系统A上的文件,这样我在系统A上没有太多负载(无论系统B上的负载如何),同时也优化了网络上的负载。


如果文件在B上并且您想要在A上解析它,则必须传输内容。是什么让你认为“传输”文件比复制它们更快?你不是在移动相同的数据吗?
Nicole Hamilton

这些文件有多大?复制文本文件不应占用太多带宽。也不应该解析它们消耗大量的CPU,
terdon

Answers:


0

如果它们只是标准文本文件,如果在发送之前压缩它们,则可能接近90%的压缩率。在压缩它们时会有一些负载,但可能低于分析成本。

编辑:由于评论,我还应该建议使用HTTP压缩并将日志文件提供给远程机器进行解析。它仍然会产生负载来压缩页面,但是也许你的web服务器在平衡资源方面做得更好,而在后台解雇7-Zip。


与远程解析文件相比,压缩必然会占用更多CPU资源。 OP希望最小化远程系统上的CPU负载。
terdon

-1错误的答案。这几乎肯定是一个更重的负荷 结束而不仅仅是通过网络抽取数据。
Nicole Hamilton

没错,但他希望最大限度地减少CPU负载和网络流量。我想用HTTP压缩远程解析将是最好的选择。
Louis
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.