Questions tagged «gnu-parallel»

我有100,000个小文件网址可供下载。想使用10个线程和流水线是必须的。我将结果连接到一个文件。目前的做法是： cat URLS | xargs -P5 -- curl >> OUTPUT 是否有更好的选择可以显示整个操作的进度？必须从命令行工作。

3 command-line  bash  wget  curl  gnu-parallel 

我正在尝试使用以下代码加密一堆文件： find . -name "*.vi" | sort | parallel --gnu -j 4 --workdir "$PWD" ' echo "Encrypting {/.} ..." gpg -r user@myemail.com -o "/tank/test/{/.}.gpg" -e "{}" '; 这样可以正常工作，但前提是文件名中没有空格或特殊字符（！或'）。除了重新命名所有文件之外，还有一种方法可以使这段代码工作吗？

2 linux  gnu-parallel 

我可以使用rsh而不是ssh在hpc设置中的节点之间拆分作业吗？ 或者gnu-parallel只能通过ssh发送不同的工作？

1 gnu-parallel 

我有大约3,000个文件，每个300MB，我想用我的16核心服务器尽快搜索它们的一系列子串。 这是我尝试过但它似乎并没有并行搜索文件。 sudo find /mnt2/preprocessed/preprocessed/mo* | sudo xargs awk '/substring/ {c++} END {print c}' | paste -sd+ | bc 它是从不同的方法粘贴在一起的，我不完全理解它。您对我如何分割文件处理有什么建议吗？

1 bash  awk  gnu-parallel 

我试图加速导入一个包含完整.sql文件的文件夹的大型数据集 ls -rS *.sql | parallel -j16 mysql -uusername -ppassword dbname "<" 运行后不久，我收到一个错误： ERROR 1146 (42S02) at line 65: Table 'dbname.some_table' doesn't exist ERROR 1146 (42S02) at line 69: Table 'dbname.some_table_other' doesn't exist 是否有一种简单的方法来修改此命令行arg以找出生成此错误的文件？ 我已经尝试过在所有文件的第65-69行运行sed的脚本，但是有太多的结果要知道。一旦我确定哪个sql生成了错误，我就可以删除它并重新导入它。 解决：用过 ls -rS *.sql | xargs grep -i "dbname.some_table" | less 追溯过早被调用的地方

mysql  sed  gnu-parallel