如何从日志文件中删除部分？

我有一个8 Gb日志文件（Rails生产日志）。我需要在某些日期（行）之间进行剪切。我可以使用哪个命令来执行此操作？

就像是

sed '1,/last date prior to chunk/d;/first date after chunk/,$d' logfile | tee cut-log | less

tee cut-log使您可以在屏幕上看到文件中正在存储的内容cut-log。

编辑：

为了满足fred.bear的严格标准，这是一个sed解决方案（尽管可以说awk解决方案更漂亮）：

b=BB; e=EE ;echo -e "AA\nAA\nBB\nBB\nCC\nCC\nDD\nDD\nEE\nEE\nFF\nFF" | sed -n ":b;/$b/b p;n;b b;:p;p;n;/$e/b e;b p;:e;p;n;/$e/b e;q"

要打印介于FOO和BAR之间的所有内容，请尝试：

$ sed -n '/FOO/,/BAR/p' file.txt

这将完成您想要的操作...显示
包括和不包括参数日期。

# set Test args
set  2011-02-24  2011-02-26  "junk"

from="$1"
till="$2"
file="$3"

# EITHER ====                              +++++++++  
# Ouptut lines between two parameter dates INCLUDING the parameter dates
  awk -v from=$from -v till=$till '
    ($2 >= from) && ($2 <= till) { print $0 ; next }
    ($2 > till) { exit }' "$file"

# OR ========                              ---------
# Ouptut lines between two parameter dates EXCLUDING the parameter dates
  awk -v from=$from -v till=$till '
    ($2 > from) && ($2 < till) { print $0 ; next }
    ($2 >= till) { exit }' "$file"

它测试字段2中的（排序）日期。这是测试数据的示例

    98  2011-02-05 xxxx
    99  2011-02-05 xxxx
   100  2011-02-06 xxxx
   101  2011-02-06 xxxx

这是测试数据生成器。

如果您的日志文件中具有这种格式的日期YYYY-MM-DD，那么要查找所有表示2011-02-10的条目，可以执行以下操作：

grep 2011-02-10 log_file

现在，假设您要查找2011-02-10和2011-02-11的条目，请再次使用grep但具有多种模式：

grep -E '2011-02-10|2011-02-11' log_file

使用这种大小的文件总是很困难。

一种前进的方式可能是将此文件拆分为几个小文件，为此可以使用split命令。

split -d -l 50000 ToBigFile.data file_

即使将其拆分，您仍然可以使用该文件，就像使用bash for loop一样

for f in `ls file_*`; do cat $f; done;

但是，您可以使用倒置的grep代替猫，以摆脱不需要的数据，这与此无关。（或您需要的一种改进）。

此时，您将只处理许多较小的文件，而上面提到的其他命令将对许多较小的文件起作用。

完成后，您可以使用第二个for循环来再次构建新的较小文件。

for f in `ls file_*`; do cat $f >> NewFile.data ; done;

更新 由于我们开始将数据拆分为多个文件，因此硬盘驱动器将需要大量工作，这需要时间。（这个问题显然是5分钟）。

另一方面，下一步可能会更快。

因此，对于简单的grep，awk，sed操作，此方法可能毫无意义，但是如果搜索模式变得更加复杂，它可能会变得更快。

perl -wlne '/^2011-02-24/ .. /^2011-02-25/ and print' log_file