在bash脚本中并行运行数千个curl后台进程

我在以下bash脚本中并行运行卷曲背景进程thounsand

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

我有49Gb Corei7-920专用服务器（非虚拟）。

我通过top命令跟踪内存消耗和CPU ，它们离界限很远。

我ps aux | grep curl | wc -l用来计算当前卷曲过程的数量。这个数字迅速增加到2-4千，然后开始连续下降。

如果我通过管道卷曲到awk（curl | awk > output）添加简单的解析，则卷曲过程数只会增加到1-2千，然后减少到20到30 ...

为什么进程数量如此急剧减少？这种架构的界限在哪里？

严格遵循以下问题：

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

如果不需要在时间周围的样板文字，则更简短：

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

如果要并行运行1000秒钟，则会遇到一些限制（例如文件句柄）。提高ulimit -n或/etc/security/limits.conf可能会有所帮助。

for i in {1..100000}

只有65536个端口。节气这个。

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

（编辑：（ 编辑：删除有关操作系统限制的过时声明，并添加缺失的内容）echocurl
wait