如何删除.bash_history中的重复项并保留顺序？

我非常喜欢使用control+r递归搜索命令历史记录。我发现了一些喜欢使用的不错的选择：

# ignore duplicate commands, ignore commands starting with a space
export HISTCONTROL=erasedups:ignorespace

# keep the last 5000 entries
export HISTSIZE=5000

# append to the history instead of overwriting (good for multiple connections)
shopt -s histappend

对我来说，唯一的问题是erasedups仅擦除连续的重复项-因此使用以下命令字符串：

ls
cd ~
ls

该ls命令实际上将被记录两次。我考虑过定期运行cron：

cat .bash_history | sort | uniq > temp.txt
mv temp.txt .bash_history

这将实现删除重复项，但是不幸的是，该顺序将无法保留。如果我不sort首先归档文件，则认为uniq无法正常工作。

如何删除.bash_history中的重复项并保留顺序？

额外信用：

.bash_history通过脚本覆盖文件是否存在任何问题？例如，如果您删除了一个Apache日志文件，我认为您需要发送一个nohup / reset信号，kill以使其刷新与文件的连接。如果.bash_history文件是这种情况，也许我可以以某种方式使用它ps来检查并确保在运行过滤脚本之前没有连接的会话？

整理历史

此命令的工作方式类似于sort|uniq，但将行保持在适当的位置

nl|sort -k 2|uniq -f 1|sort -n|cut -f 2

基本上，在每行前添加其编号。sort|uniq-ing 之后，所有行均按照其原始顺序（使用行号字段）进行排序，然后从行中删除行号字段。

该解决方案的缺陷在于，不确定哪一类相等的线将使它出现在输出中，因此它在最终输出中的位置是不确定的。但是，如果应选择最新的代表，则可以sort通过第二个键输入：

nl|sort -k2 -k 1,1nr|uniq -f1|sort -n|cut -f2

管理.bash_history

要重新读取和写回历史记录，可以分别使用history -a和history -w。

因此，在被重复的内容烦恼之后，我一直在寻找相同的东西，并且发现如果我用以下命令编辑〜/ .bash_profile（Mac）：

export HISTCONTROL=ignoreboth:erasedups

它可以完全满足您的要求，只保留最新命令。ignoreboth实际上就像是在做，ignorespace:ignoredups并伴随着erasedups完成工作。

至少在我使用bash的Mac终端上，这项工作非常完美。在askubuntu.com上找到它。

在野外发现了此解决方案并进行了测试：

awk '!x[$0]++'

第一次看到行的特定值（$ 0）时，x [$ 0]的值为零。
零的值与反转!并变为1。
计算结果为1的语句将导致默认操作，即print。

因此，第一次$0看到特定内容时，将其打印出来。

每次下一次（重复）时，的值x[$0]都会增加，
其否定值为零，并且不会输出计算结果为零的语句。

要保留最后一个重复的值，请反转历史记录并使用相同的awk：

awk '!x[$0]++' ~/.bash_history                 # keep the first value repeated.

tac ~/.bash_history | awk '!x[$0]++' | tac     # keep the last.

扩展克莱顿答案：

tac $HISTFILE | awk '!x[$0]++' | tac | sponge $HISTFILE

tac反转文件，请确保已安装，moreutils以便可以sponge使用，否则请使用临时文件。

这些将保留最后重复的行：

ruby -i -e 'puts readlines.reverse.uniq.reverse' ~/.bash_history
tac ~/.bash_history | awk '!a[$0]++' | tac > t; mv t ~/.bash_history

这是旧文章，但对于希望打开多个终端并在窗口之间同步历史记录但又不重复的用户来说，这是一个永恒的问题。

我在.bashrc中的解决方案：

shopt -s histappend
export HISTCONTROL=ignoreboth:erasedups
export PROMPT_COMMAND="history -n; history -w; history -c; history -r"
tac "$HISTFILE" | awk '!x[$0]++' > /tmp/tmpfile  &&
                tac /tmp/tmpfile > "$HISTFILE"
rm /tmp/tmpfile

• histappend选项将缓冲区的历史记录添加到历史记录文件（$ HISTFILE）的末尾
• ignoreboth和擦除表均会防止重复的条目保存在$ HISTFILE中
• 提示命令更新历史记录缓存
  • history -n 自最后一次回车以来，从$ HISTFILE读取可能在其他终端中发生的所有行
  • history -w 将更新的缓冲区写入$ HISTFILE
  • history -c 擦除缓冲区，因此不会发生重复
  • history -r 重新读取$ HISTFILE，追加到现在的空白缓冲区
• awk脚本存储它遇到的每一行的第一次出现。tac反转它，然后反转它，以便可以将其与历史中最新的命令一起保存
• rm / tmp文件

每次打开新的外壳程序时，历史记录都会被清除，并且每次Enter在不同的外壳程序/终端窗口中按下键时，都会从文件中更新此历史记录。

唯一地记录每个新命令是很棘手的。首先，您需要添加 ~/.profile或类似内容：

HISTCONTROL=erasedups
PROMPT_COMMAND='history -w'

然后，您需要添加到~/.bash_logout：

history -a
history -w