如何在Unix命令行或Shell脚本中对文本文件的行进行混编？

我想随机调整文本文件的行并创建一个新文件。该文件可能有数千行。

我怎样才能做到这一点与cat，awk，cut等？

您可以使用shuf。至少在某些系统上（似乎不在POSIX中）。

正如jleedev指出的那样：sort -R也可能是一个选择。至少在某些系统上；好吧，你知道了。有人指出，这sort -R并不是真正的洗牌，而是根据其哈希值对项目进行排序。

^{[编者注：除了重复的行/排序键总是彼此相邻结束之外，sort -R 几乎都改组了。换句话说：只有使用唯一的输入行/键，它才是真正的随机播放。确实，输出顺序是由哈希值决定的，但随机性来自选择随机哈希函数 -参见手册。}

Perl单线将是Maxim解决方案的简单版本

perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);' < myfile

该答案通过以下方式补充了许多现有的出色答案：

• 现有答案被打包到灵活的shell函数中：

  • 这些函数不仅接受stdin输入，还接受文件名参数
  • 该函数采取额外的步骤以SIGPIPE通常的方式处理（使用退出代码安静终止141），而不是吵闹。在将功能输出管道输送到较早关闭的管道时（例如管道输送到），这一点很重要head。

• 进行性能比较。

• POSIX兼容的基础功能awk，sort以及cut改编自OP自己的答案：

shuf() { awk 'BEGIN {srand(); OFMT="%.17f"} {print rand(), $0}' "$@" |
               sort -k1,1n | cut -d ' ' -f2-; }

• 基于Perl的功能-改编自Moonyoung Kang的回答：

shuf() { perl -MList::Util=shuffle -e 'print shuffle(<>);' "$@"; }

• 基于Python的函数，改编自scai的答案：

shuf() { python -c '
import sys, random, fileinput; from signal import signal, SIGPIPE, SIG_DFL;    
signal(SIGPIPE, SIG_DFL); lines=[line for line in fileinput.input()];   
random.shuffle(lines); sys.stdout.write("".join(lines))
' "$@"; }

^{有关此功能的Windows版本，请参见底部。}

• 基于Ruby的函数，改编自hoffmanc的答案：

shuf() { ruby -e 'Signal.trap("SIGPIPE", "SYSTEM_DEFAULT");
                     puts ARGF.readlines.shuffle' "$@"; }

性能比较：

注意：这些数字是在2012年末配备3.2 GHz Intel Core i5和运行OSX 10.10.3的Fusion Drive的iMac上获得的。尽管时间会随所使用的OS，机器规格和awk所使用的实现而变化（例如，awkOSX上使用的BSD 版本通常比GNU慢awk，尤其是mawk），但这应该提供相对性能的一般含义。

输入文件是一个1百万行文件与产生seq -f 'line %.0f' 1000000。
时间以升序排列（最快的是第一个）：

• shuf
  • 0.090s
• Ruby 2.0.0
  • 0.289s
• Perl 5.18.2
  • 0.589s
• 蟒蛇
  • 1.342s使用Python 2.7.6; 2.407s（！）使用Python 3.4.2
• awk+ sort+cut
  • 3.003s与BSD awk; 2.388s使用GNU awk（4.1.1）; 1.811s与mawk（1.3.4）;

为了进一步比较，上述未打包为功能的解决方案：

• sort -R （如果输入行重复，则不是真正的随机播放）
  • 10.661s -分配更多的内存似乎没有什么不同
• 斯卡拉
  • 24.229s
• bash 循环+ sort
  • 32.593s

结论：

• shuf如果可以，请使用 -这是迄今为止最快的。
• Ruby表现不错，其次是Perl。
• Python明显比Ruby和Perl慢，并且与Python版本相比，2.7.6比3.4.1快很多。
• 将POSIX兼容awk+ sort+ cut组合用作不得已的方法 ; awk您使用哪种实现很重要（mawk比GNU快awk，而BSD awk最慢）。
• 远离sort -R，bash循环和Scala。

Windows版本的Python解决方案（除了引号和与信号相关的语句的删除（Windows不支持）之外，Python代码是相同的）：

• 对于PowerShell（在Windows PowerShell中，$OutputEncoding如果要通过管道发送非ASCII字符，则必须进行调整）：

# Call as `shuf someFile.txt` or `Get-Content someFile.txt | shuf`
function shuf {
  $Input | python -c @'
import sys, random, fileinput;
lines=[line for line in fileinput.input()];
random.shuffle(lines); sys.stdout.write(''.join(lines))
'@ $args  
}

请注意，PowerShell可以通过其Get-Randomcmdlet在本地进行改组（尽管性能可能会成为问题）；例如：
Get-Content someFile.txt | Get-Random -Count ([int]::MaxValue)

• 对于cmd.exe（批处理文件）：

保存到文件shuf.cmd，例如：

@echo off
python -c "import sys, random, fileinput; lines=[line for line in fileinput.input()]; random.shuffle(lines); sys.stdout.write(''.join(lines))" %*

我使用了一个很小的perl脚本，我称之为“ unsort”：

#!/usr/bin/perl
use List::Util 'shuffle';
@list = <STDIN>;
print shuffle(@list);

我也有一个以NULL分隔的版本，称为“ unsort0” ...方便与find -print0等一起使用。

PS：也投票赞成“ shuf”，我不知道这些天在coreutils中有没有……如果您的系统没有“ shuf”，则上面的内容可能仍然有用。

这是第一次尝试，在编码器上很容易，但是在CPU上却很困难，它将随机数添加到每行，对它们进行排序，然后从每行中剥离随机数。实际上，这些行是随机排序的：

cat myfile | awk 'BEGIN{srand();}{print rand()"\t"$0}' | sort -k1 -n | cut -f2- > myfile.shuffled

这是一个awk脚本

awk 'BEGIN{srand() }
{ lines[++d]=$0 }
END{
    while (1){
    if (e==d) {break}
        RANDOM = int(1 + rand() * d)
        if ( RANDOM in lines  ){
            print lines[RANDOM]
            delete lines[RANDOM]
            ++e
        }
    }
}' file

输出

$ cat file
1
2
3
4
5
6
7
8
9
10

$ ./shell.sh
7
5
10
9
6
8
2
1
3
4

python的一线式：

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

对于仅打印一条随机行：

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

但是请参阅这篇文章以了解python的缺点random.shuffle()。它不适用于许多（超过2080个）元素。

简单的基于awk的函数将完成此任务：

shuffle() { 
    awk 'BEGIN{srand();} {printf "%06d %s\n", rand()*1000000, $0;}' | sort -n | cut -c8-
}

用法：

any_command | shuffle

这在几乎所有的UNIX上都可以使用。在Linux，Solaris和HP-UX上进行了测试。

更新：

请注意，前导零（%06d）和rand()乘法使得它也可以在sort不理解数字的系统上正常工作。可以通过字典顺序对其进行排序（也称为普通字符串比较）。

Ruby FTW：

ls | ruby -e 'puts STDIN.readlines.shuffle'

一种基于scai的答案的 Python衬里，但是a）接受标准输入，b）使结果与种子可重复，c）仅挑选出所有行中的200条。

$ cat file | python -c "import random, sys; 
  random.seed(100); print ''.join(random.sample(sys.stdin.readlines(), 200))," \
  > 200lines.txt

一种简单而直观的方法是使用shuf。

例：

假设words.txt为：

the
an
linux
ubuntu
life
good
breeze

要随机排列，请执行以下操作：

$ shuf words.txt

这将乱码的线投向标准输出 ; 因此，您必须将其通过管道传输到类似以下的输出文件：

$ shuf words.txt > shuffled_words.txt

一种这样的随机运行可以产生：

breeze
the
linux
an
ubuntu
good
life

我们有一个软件包可以完成这项工作：

sudo apt-get install randomize-lines

例：

创建数字的有序列表，并将其保存到1000.txt：

seq 1000 > 1000.txt

随机播放，只需使用

rl 1000.txt

这是我作为rand.py保存在主文件夹中的python脚本：

#!/bin/python

import sys
import random

if __name__ == '__main__':
  with open(sys.argv[1], 'r') as f:
    flist = f.readlines()
    random.shuffle(flist)

    for line in flist:
      print line.strip()

在Mac OSX上sort -R和shuf不可用，所以你可以在你的.bash_profile作为别名此：

alias shuf='python rand.py'

如果像我一样，您是来这里寻找shufmacOS 的替代产品，然后使用randomize-lines。

安装randomize-lines（自制程序）软件包，该软件包rl具有与相似的功能的命令shuf。

brew install randomize-lines

Usage: rl [OPTION]... [FILE]...
Randomize the lines of a file (or stdin).

  -c, --count=N  select N lines from the file
  -r, --reselect lines may be selected multiple times
  -o, --output=FILE
                 send output to file
  -d, --delimiter=DELIM
                 specify line delimiter (one character)
  -0, --null     set line delimiter to null character
                 (useful with find -print0)
  -n, --line-number
                 print line number with output lines
  -q, --quiet, --silent
                 do not output any errors or warnings
  -h, --help     display this help and exit
  -V, --version  output version information and exit

如果您已安装Scala，则可以使用以下方法来随机排列输入：

ls -1 | scala -e 'for (l <- util.Random.shuffle(io.Source.stdin.getLines.toList)) println(l)'

这个bash函数具有最小的依赖性（仅sort和bash）：

shuf() {
while read -r x;do
    echo $RANDOM$'\x1f'$x
done | sort |
while IFS=$'\x1f' read -r x y;do
    echo $y
done
}

在Windows中，您可以尝试使用此批处理文件来帮助您重新整理data.txt，批处理代码的用法是

C:\> type list.txt | shuffle.bat > maclist_temp.txt

发出此命令后，maclist_temp.txt将包含随机的行列表。

希望这可以帮助。

截至目前尚未提及：

1. 该unsortUTIL。语法（某种程度上面向播放列表）：

   unsort [-hvrpncmMsz0l] [--help] [--version] [--random] [--heuristic]
          [--identity] [--filenames[=profile]] [--separator sep] [--concatenate] 
          [--merge] [--merge-random] [--seed integer] [--zero-terminated] [--null] 
          [--linefeed] [file ...]

2. msort 可以按行随机播放，但这通常是过大的：

   seq 10 | msort -jq -b -l -n 1 -c r

另一个awk变体：

#!/usr/bin/awk -f
# usage:
# awk -f randomize_lines.awk lines.txt
# usage after "chmod +x randomize_lines.awk":
# randomize_lines.awk lines.txt

BEGIN {
  FS = "\n";
  srand();
}

{
  lines[ rand()] = $0;
}

END {
  for( k in lines ){
    print lines[k];
  }
}