如何在Red Hat Linux上使用标准工具将文件中的行随机化？

如何在Red Hat Linux上使用标准工具将文件中的行随机化？

我没有shuf命令，所以我要寻找的东西像一个perl或awk一个班轮是完成相同的任务。

而您可以获得Perl一线服务！

perl -MList::Util -e 'print List::Util::shuffle <>'

它使用一个模块，但是该模块是Perl代码分发的一部分。如果那还不够好，您可以考虑自己动手。

我尝试将其与-i标志（“就地编辑”）一起使用，以使其编辑文件。文档建议它应该起作用，但是不起作用。它仍然显示将改组后的文件输出到stdout，但是这次它将删除原始文件。我建议您不要使用它。

考虑一个shell脚本：

#!/bin/sh

if [[ $# -eq 0 ]]
then
  echo "Usage: $0 [file ...]"
  exit 1
fi

for i in "$@"
do
  perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
  if [[ `wc -c $i` -eq `wc -c $i.new` ]]
  then
    mv $i.new $i
  else
    echo "Error for file $i!"
  fi
done

未经测试，但有望奏效。

嗯，别忘了

sort --random-sort

shuf 是最好的方法。

sort -R太慢了 我只是尝试对5GB文件进行排序。2.5小时后我放弃了。然后shuf在一分钟内将其分类。

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

读取文件，在每一行前添加一个随机数，然后在这些随机前缀上对文件进行排序，然后再剪切前缀。单线可在任何半现代外壳中使用。

编辑：纳入理查德·汉森的言论。

python的一线式：

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

对于仅打印一条随机行：

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

但是请参阅这篇文章以了解python的缺点random.shuffle()。它不适用于许多（超过2080个）元素。

与吉姆的答案有关：

我的~/.bashrc包含以下内容：

unsort ()
{
    LC_ALL=C sort -R "$@"
}

使用GNU coreutils的sort -R= --random-sort，它会生成每行的随机散列并按其进行排序。在某些较旧的（越野车）版本中，随机散列实际上不会在某些语言环境中使用，从而导致它返回正常排序的输出，这就是我设置的原因LC_ALL=C。

与克里斯的答案有关：

perl -MList::Util=shuffle -e'print shuffle<>'

是一个略短的单线。（-Mmodule=a,b,c是的简写-e 'use module qw(a b c);'。）

对其进行简单修改的​​原因-i不适用于就地改组，因为Perl希望print在读取文件的同一循环中发生这种情况，并且print shuffle <>直到所有输入文件都被读取并关闭后才输出。

作为更短的解决方法，

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

将就地随机播放文件。（-n意思是“将代码包装在一个while (<>) {...}循环中；BEGIN{undef$/}使Perl一次处理文件而不是一次行，并且split/^/m之所以需要Perl 是因为$_=<>已隐式地对整个文件而不是行进行了操作。）

当我用自制软件安装coreutils时

brew install coreutils

shuf成为可用n。

带有DarwinPorts的Mac OS X：

sudo port install unsort
cat $file | unsort | ...

FreeBSD有其自己的随机实用程序：

cat $file | random | ...

它位于/ usr / games / random中，因此，如果您尚未安装游戏，那么您将不走运。

您可以考虑安装诸如textproc / rand或textproc / msort之类的端口。如果需要考虑可移植性，这些功能很可能在Linux和/或Mac OS X上可用。

在OSX上，可以从http://ftp.gnu.org/gnu/coreutils/获取最新信息，例如

./configure make sudo make install

...应该给你/ usr / local / bin / sort --random-sort

不会弄乱/ usr / bin / sort

或从MacPorts获取：

$ sudo port install coreutils

和/或

$ /opt/local//libexec/gnubin/sort --random-sort