在Unix命令行中从文件读取随机行的简单方法是什么？

在Unix命令行中从文件读取随机行的简单方法是什么？

您可以使用shuf：

shuf -n 1 $FILE

还有一个名为的实用程序rl。在Debian中，它randomize-lines确实可以满足您的需求，尽管并非在所有发行版中都可用。实际上，它在其主页上建议使用shuf代替（我相信它在创建时就不存在）。 shuf是GNU coreutils的一部分，rl不是。

rl -c 1 $FILE

另一种选择：

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

（尽管我更喜欢上面的shuf方法-我什至不知道它的存在，而且我永远不会自己找到该工具）

这很简单。

cat file.txt | shuf -n 1

当然，这只比“ shuf -n 1 file.txt”慢一点。

perlfaq5：如何从文件中选择随机行？这是骆驼书中的储层采样算法：

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

与读取整个文件相比，这在空间方面具有显着优势。您可以在Donald E. Knuth撰写的The Art of Computer Programming，第2卷，第3.4.2节中找到这种方法的证明。

使用bash脚本：

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

单bash行：

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

轻微问题：文件名重复。

这是一个可以完成此工作的简单Python脚本：

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

用法：

python randline.py file_to_get_random_line_from

使用' awk '的另一种方式

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

一个解决方案也可以在MacOSX上运行，并且也可以在Linux（？）上运行：

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

哪里：

• N 是您想要的随机行数

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 ->保存写入的行号file1，然后在其中打印相应的行file2

• jot -r $N 1 $(wc -l < $file)- >绘制N随机（数字-r范围内）(1, number_of_line_in_file)与jot。流程替换<()将使它看起来像是解释器的文件，因此file1在前面的示例中。

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

这是我发现的，因为我的Mac OS并未使用所有简单的答案。我使用jot命令生成一个数字，因为$ RANDOM变量解决方案在我的测试中似乎不是很随机。测试我的解决方案时，输出中提供的解决方案差异很大。

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

变量的回声是生成的随机数的可视化。

仅使用香草sed和awk，而不使用$ RANDOM，从名称为FILENAME的文件中伪随机地选择单行的一种简单，节省空间且相当快的“单行”如下所示：

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

（即使FILENAME为空，此方法也有效，在这种情况下，不会发出任何行。）

这种方法的一个可能的优点是它只调用rand（）一次。

正如@AdamKatz在评论中指出的，另一种可能性是为每一行调用rand（）：

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

（可以根据归纳给出正确性的简单证明。）

注意事项 rand()

“在大多数awk实现中，包括gawk，每次运行awk时，rand（）都会从相同的起始数字或种子开始生成数字。”

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html