3
产生多个并行wgets并将结果存储在bash数组中,以便在完成所有wgets时进行漂亮打印
我在自己的网站上列出了一个很长的网址列表,列在回车分隔的文本文件中。例如: HTTP:/www.mysite.com/url1.html HTTP:/www.mysite.com/url2.html HTTP:/www.mysite.com/url3.html 我需要生成许多并行wgets来命中每个URL两次,检查并检索特定的头,然后将结果保存在一个数组中,我想在一个漂亮的报告中输出。 我使用以下xargs命令获得了我想要的一部分: xargs -x -P 20 -n 1 wget --server-response -q -O - --delete-after<./urls.txt 2>&1 | grep Caching 问题是如何运行此命令两次并存储以下内容: 网址命中 grep对缓存头的第一个结果 grep对缓存头的第二个结果 所以输出应该类似于: ===================================================== http:/www.mysite.com/url1.html ===================================================== First Hit: Caching: MISS Second Hit: Caching: HIT ===================================================== http:/www.mysite.com/url2.html ===================================================== First Hit: Caching: MISS Second Hit: Caching: HIT 等等。 …