产生多个并行wgets并将结果存储在bash数组中，以便在完成所有wgets时进行漂亮打印

我在自己的网站上列出了一个很长的网址列表，列在回车分隔的文本文件中。例如：

• HTTP：/www.mysite.com/url1.html
• HTTP：/www.mysite.com/url2.html
• HTTP：/www.mysite.com/url3.html

我需要生成许多并行wgets来命中每个URL两次，检查并检索特定的头，然后将结果保存在一个数组中，我想在一个漂亮的报告中输出。

我使用以下xargs命令获得了我想要的一部分：

xargs -x -P 20 -n 1 wget --server-response -q -O - --delete-after<./urls.txt 2>&1 | grep Caching

问题是如何运行此命令两次并存储以下内容：

1. 网址命中
2. grep对缓存头的第一个结果
3. grep对缓存头的第二个结果

所以输出应该类似于：

=====================================================
http:/www.mysite.com/url1.html
=====================================================
First Hit: Caching: MISS
Second Hit: Caching: HIT

=====================================================
http:/www.mysite.com/url2.html
=====================================================
First Hit: Caching: MISS
Second Hit: Caching: HIT

等等。

只要标题与URL相关联，URLS出现的顺序就不一定受到关注。

由于URL的数量，我需要并行地并行访问多个URL，否则将花费太长时间。

诀窍是如何获得多个并行wgets并以有意义的方式存储结果。如果有更合理的方法（也许写入日志文件？），我没有结婚使用数组？

任何bash大师对我如何进行有任何建议吗？

给出一个小脚本，在给定单个URL的基础上做正确的事情（基于terdon的代码）：

#!/bin/bash

url=$1
echo "=======================================";
echo "$url"
echo "=======================================";
echo -n "First Hit: Caching: ";
wget --server-response -q -O - $url 2>&1 | grep Caching >/dev/null
if [ $? == 0 ]; then echo HIT; else echo MISS; fi;
echo -n "Second Hit: Caching: ";      
wget --server-response -q -O - $url 2>&1 | grep Caching >/dev/null
if [ $? == 0 ]; then echo HIT; else echo MISS; fi; echo "";

然后使用GNU Parallel并行运行此脚本（例如，一次500个作业）：

cat urls.txt | parallel -j500 my_script

GNU Parallel将确保两个进程的输出永远不会混合 - 这是xargs不提供的保证。

您可以在以下位置找到有关GNU Parallel的更多信息 http://www.gnu.org/s/parallel/

你可以在10秒内安装GNU Parallel：

wget -O - pi.dk/3 | sh 

观看介绍视频 http://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

一个简单的解决方案是记录每个输出 wget 命令到单独的文件并使用 cat 之后合并它们。

我将假设您的文件是换行符，而不是回车分隔，因为您提供的命令将无法使用 \r 分开的文件。

如果你的文件 是 运用 \r 代替 \n 对于行结尾，将其更改为使用 \n 通过运行：

perl -i -pe 's/\r/\n/g' urls.txt 

如果您使用的是Windows风格（ \r\n ）行结尾，使用此：

perl -i -pe 's/\r//g' urls.txt 

现在，一旦你的文件是Unix格式， 如果你不介意你的工作没有并行运行 ，你可以做这样的事情：

while read url; do 
  echo "=======================================";
  echo "$url"
  echo "=======================================";
  echo -n "First Hit: Caching: ";
  wget --server-response -q -O - $url 2>&1 | grep Caching >/dev/null
  if [ $? == 0 ]; then echo HIT; else echo MISS; fi;
  echo -n "Second Hit: Caching: ";      
  wget --server-response -q -O - $url 2>&1 | grep Caching >/dev/null
  if [ $? == 0 ]; then echo HIT; else echo MISS; fi; echo "";
done < urls.txt

更新以回应您的评论：

如果您有22,000个URL，我确实可以理解为什么要并行执行此操作。您可以尝试的一件事是创建tmp文件：

(while read url; do 
 ( 
  echo "=======================================";
  echo "$url"
  echo "=======================================";
  echo -n "First Hit: Caching: ";
  wget --server-response -q -O - $url 2>&1 | grep Caching >/dev/null
  if [ $? == 0 ]; then echo HIT; else echo MISS; fi;
  echo -n "Second Hit: Caching: ";      
  wget --server-response -q -O - $url 2>&1 | grep Caching >/dev/null
  if [ $? == 0 ]; then echo HIT; else echo MISS; fi; 
  echo ""; ) > `mktemp urltmpXXX` 2>/dev/null&
done < urls.txt )

那里有两个子炮弹，第一个， (while ... < urls.txt) 只是为了 禁止完成消息 。第二 （ ( echo "=== ... ) > mktemp urltmpXXX ）是否将给定URL的所有输出收集到一个文件中。

上面的脚本将创建22,000个tmp文件 urltmpXXX 在哪里 XXX 由随机字符替换。由于tmp文件在完成后都会有6行文本，因此您可以使用以下命令监视（并可选择删除文件）：

b=`awk 'END{print NR}' urls.txt`; 
while true; do 
 a=`wc -l urltmp* | grep total | awk '{print $1}'`;     
 if [ $a == $((6 * $b)) ]; then cat urltmp* > urls.out; break; 
  else sleep 1; fi; 
done

现在另一个问题是，这将同时启动22000个工作岗位。根据您的系统，这可能是也可能不是问题。解决这个问题的一种方法是 split 您的输入文件然后为每个文件运行上面的循环一次。