如何使用bash / sed脚本删除文本文件的第一行？

我需要使用bash脚本从巨大的文本文件中反复删除第一行。

目前，我正在使用sed -i -e "1d" $FILE-但删除大约需要一分钟。

有没有更有效的方法来实现这一目标？

试试tail：

tail -n +2 "$FILE"

-n x：仅打印最后x几行。tail -n 5将为您提供输入的最后5行。该+标志那种反转的争论，使tail打印任何东西，但第一x-1线。tail -n +1将打印整个文件，tail -n +2除了第一行以外的所有内容，等等。

GNU tail比.NET 快得多sed。tail在BSD上也可用，并且-n +2标记在两个工具之间都一致。有关更多信息，请参见FreeBSD或OS X手册页。

BSD版本可能比慢得多sed。我想知道他们是如何做到的；tail应该只逐行读取文件，同时sed执行相当复杂的操作，包括解释脚本，应用正则表达式等。

注意：您可能会想使用

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

但这会给你一个空文件。原因是重定向（>）发生在tail外壳程序调用之前：

1. Shell截断文件 $FILE
2. 壳牌为 tail
3. Shell将tail流程的标准输出重定向到$FILE
4. tail 从现在的空读取 $FILE

如果要删除文件中的第一行，则应使用：

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

在&&将确保该文件不被覆盖时，有一个问题。

您可以使用-i来更新文件，而无需使用'>'运算符。以下命令将从文件中删除第一行并将其保存到文件中。

sed -i '1d' filename

对于使用非GNU的SunOS的用户，以下代码将有所帮助：

sed '1d' test.dat > tmp.dat 

不，这与您将要获得的效率差不多。您可以编写一个C程序，该程序可以更快地完成工作（更少的启动时间和处理参数），但是随着文件变大，它可能趋向于与sed相同的速度（如果花一分钟，我认为它们会变大） ）。

但是您的问题与其他许多问题一样面临着同样的问题，因为它预先提出了解决方案。如果你要详细告诉我们什么你想要做而不是如何，我们也许能够提出更好的选择。

例如，如果这是其他程序B处理的文件A，则一种解决方案是不剥离第一行，而修改程序B以不同方式处理它。

假设您的所有程序都附加到此文件A，并且程序B当前在删除第一行之前对其进行读取和处理。

您可以重新设计程序B，以便它不会尝试删除第一行，而是在文件A中保留一个持久的（可能是基于文件的）偏移量，以便在下次运行时可以查找该偏移量，然后进行处理。那里的线，并更新偏移量。

然后，在安静的时间（午夜？），它可以对文件A进行特殊处理，以删除当前处理的所有行并将偏移量设置回0。

程序打开和查找文件肯定比打开并重写更快。当然，该讨论假定您已控制程序B。我不知道是这种情况，但是如果您提供更多信息，可能还有其他可能的解决方案。

您可以就地编辑文件：只需使用perl的-i标志，如下所示：

perl -ni -e 'print unless $. == 1' filename.txt

根据您的要求，这使得第一行消失了。Perl将需要读取和复制整个文件，但是它安排将输出保存为原始文件的名称。

您可以轻松地做到这一点：

cat filename | sed 1d > filename_without_first_line

在命令行上；或要永久删除文件的第一行，请使用sed的就地模式和以下-i标志：

sed -i 1d <filename>

正如Pax所说，您可能不会比这更快。原因是几乎没有文件系统支持从文件开头截断，因此这将是O（n）操作，其中n文件的大小是。你可以做多，虽然速度是覆盖具有相同的字节数（也许用空格或注释），这可能会为您取决于正是你正在尝试做的工作第一线（那是什么来着？）。

的 sponge UTIL避免了杂耍一个临时文件的需要：

tail -n +2 "$FILE" | sponge "$FILE"

如果要修改到位的文件，你总是可以使用原始ed的，而不是它的小号 treaming继任者sed：

ed "$FILE" <<<$'1d\nwq\n'

该ed命令是原始的UNIX文本编辑器，甚至还没有全屏终端，而图形工作站则少得多。在ex编辑器中，最有名的你使用的是什么类型时，在结肠中的提示vi，是一个前的趋向版本ed，所以很多相同的命令工作。尽管ed本意是要交互使用，但也可以通过向其发送一串命令来以批处理方式使用它，这就是该解决方案的作用。

序列<<<$'1d\nwq\n'利用了bash的支持，这里串（<<<）和POSIX引号（$'... '），以饲料投入到ed由两行命令：1d，其中d eletes行1，然后wq，这W¯¯仪式的文件重新出磁盘，然后q UITS编辑会话。

应该显示第一行以外的行：

cat textfile.txt | tail -n +2

可以使用vim来做到这一点：

vim -u NONE +'1d' +'wq!' /tmp/test.txt

这应该更快，因为vim在处理时不会读取整个文件。

如何使用csplit？

man csplit
csplit -k file 1 '{1}'

由于听起来我无法加快删除速度，所以我认为一种好的方法可能是按以下方式批量处理文件：

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

这样做的缺点是，如果程序在中间被杀死（或者如果其中有一些不好的sql，导致“进程”部分死亡或锁定），则会跳过或处理两次行。

（file1包含几行sql代码）

如果您要执行的操作是在故障后恢复，则可以构建一个文件，该文件具有到目前为止已完成的操作。

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

这一条班轮将做：

echo "$(tail -n +2 "$FILE")" > "$FILE"

它可以工作，因为它tail是echo在文件执行之前执行的，然后将其解锁，因此不需要临时文件。

是否会在N-1行上使用tail并将其定向到文件中，然后删除旧文件，然后将新文件重命名为旧名称呢？

如果我以编程方式执行此操作，则在读取每一行后，我将通读文件，并记住文件偏移量，因此我可以返回该位置以读取其中少一行的文件。