Questions tagged «batch-processing»

我编写了一个多线程软件，每天进行大量模拟。这是一项非常占用CPU的任务，我一直在云服务上运行此程序，通常在每个内核1GB之类的配置上运行。 我正在运行CentOS 6.7，/proc/cpuinfo这使我的四个VPS内核为2.5GHz。 processor : 3 vendor_id : GenuineIntel cpu family : 6 model : 63 model name : Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz stepping : 2 microcode : 1 cpu MHz : 2499.992 cache size : 30720 KB physical id : 3 siblings : 1 core id …

34 performance  vps  centos6  performance-tuning  batch-processing 

根据手册页，如果执行行之一以错误255退出，则xargs将退出： 如果以状态255退出命令的任何调用，则xargs将立即停止，而无需读取任何进一步的输入。发生这种情况时，将在stderr上发出错误消息。 如何获得xargs 不这样做？ 我有一个要运行的大约1500行批处理作业，一次要运行50行。我发现它总是快要死了，而没有完成工作。不好！ 更好的问题是描述我要做什么的问题： 我如何一次运行1500行批处理脚本，一次运行50行，这样它就不会在中间退出该作业，并且将输出捕获到某种日志文件中？

27 bash  command-line-interface  batch-processing  xargs 

我希望能够在S3上一次批量删除成千上万个文件。每个文件的大小在1MB到50MB之间。自然，我不希望用户（或我的服务器）在删除文件过程中等待。因此，问题是： S3如何处理文件删除，尤其是在删除大量文件时？ 是否有一种有效的方法来做到这一点，并使AWS能够完成大部分工作？所谓高效，是指对S3的请求数量最少，并使用服务器上最少的资源花费最少的时间。

16 amazon-s3  batch-processing