从文本文件中拆分字符串的快速方法？

我有两个文本文件：string.txt和lengths.txt

String.txt：

abcdefghijklmnopqrstuvwxyz

lengths.txt

5
4
10
7

我想获取文件

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

我正在处理大约28,000个条目，它们在200至56,000个字符之间变化。

目前，我正在使用：

start=1
end=0
i=0
while read read_l
do
    let i=i+1
    let end=end+read_l
    echo -e ">Entry_$i" >>outfile.txt
    echo "$(cut -c$start-$end String.txt)" >>outfile.txt
    let start=start+read_l
    echo $i
done <lengths.txt

但这效率很低。还有更好的主意吗？

你可以做

{
  while read l<&3; do
    {
      head -c"$l"
      echo
    } 3<&-
  done 3<lengths.txt
} <String.txt

它需要一些解释：

主要思想是使用，{ head ; } <file并从被低估的@mikeserv 答案派生而来。但是，在这种情况下，我们需要使用许多heads，因此while引入了循环，并对文件描述符进行了一些微调，以便传递到head两个文件的输入（文件String.txt作为要处理的主文件，以及从行length.txt作为-c选项的参数） 。想法是，速度的好处应该来自于不需要String.txt每次调用类似head或被cut调用的命令。该echo只是每次迭代后打印换行符。

快多少（如果有）并在行>Entry_i之间添加多少作为练习。

通常，您不想使用shell循环来处理text。在这里，我会使用perl：

$ perl -lpe 'read STDIN,$_,$_; print ">Entry_" . ++$n' lengths.txt < string.txt
>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

那是一个命令，它读一次（与缓冲相比read，一次读一个字节（对于常规文件是几个字节）的shell 命令效率高得多），两个文件都读一次（而不是将它们全部存储在内存中），所以与在Shell循环中运行外部命令的解决方案相比，效率将提高几个数量级。

（-C如果这些数字应该是当前语言环境中的字符数而不是字节数，请添加选项。对于示例中的ASCII字符，这没有任何区别）。

bash，版本4

mapfile -t lengths <lengths.txt
string=$(< String.txt)
i=0 
n=0
for len in "${lengths[@]}"; do
    echo ">Entry_$((++n))"
    echo "${string:i:len}"
    ((i+=len))
done

输出

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

那awk呢

创建一个process.awk使用以下代码的文件：

function idx(i1, v1, i2, v2)
{
     # numerical index comparison, ascending order
     return (i1 - i2)
}
FNR==NR { a[FNR]=$0; next }
{ i=1;PROCINFO["sorted_in"] = "idx";
        for (j in a) {
                print ">Entry"j;
                ms=substr($0, i,a[j])
                print ms
                i=i+length(ms)
        }
}

保存并执行 awk -f process.awk lengths.txt string.txt