5
快速压缩大量大文件
我每天产生约200 GB的日志数据,分布在约150个不同的日志文件中。 我有一个脚本将文件移动到临时位置,并在临时目录上执行tar-bz2。 将200 GB的日志压缩到大约12-15 GB后,我得到了很好的结果。 问题是压缩文件需要花费很多时间。该cron的工作上午2:30每天运行,并继续运行,直到5:00-6:00 PM。 有没有办法提高压缩速度并更快地完成工作?有任何想法吗? 不用担心其他所有过程,压缩发生的位置在NAS上,我可以在专用VM上运行将NAS挂载,然后从那里运行压缩脚本。 这是top的输出,以供参考: top - 15:53:50 up 1093 days, 6:36, 1 user, load average: 1.00, 1.05, 1.07 Tasks: 101 total, 3 running, 98 sleeping, 0 stopped, 0 zombie Cpu(s): 25.1%us, 0.7%sy, 0.0%ni, 74.1%id, 0.0%wa, 0.0%hi, 0.1%si, 0.1%st Mem: 8388608k total, 8334844k used, …