从文件集合中收集随机样本的最佳方法

假设有一个包含300个数据文件的目录。我想随机选择其中200个文件并将它们移到另一个目录。在Unix / Linux下有没有办法做到这一点？

如果您的系统具有shuf，则可以非常方便地使用它（甚至可以处理丑陋的文件名）：

shuf -zen200 source/* | xargs -0 mv -t dest

如果您没有，shuf但是有一个sortthat -R，这应该可以工作：

find source -type f -print0 | sort -Rz | cut -d $'\0' -f-200 | xargs -0 mv -t dest

files=(*)
for (( i=0; i<200; i++ )); do
    keys=("${!files[@]}")
    rnd=$(( RANDOM % ${#keys[@]} ))
    key=${keys[$rnd]}
    mv "${files[$key]}" "$otherdir"
    unset files[$key]
done

将所有文件名放入bash中名为“ files”的数组中：

files=( * )

数组大小：

echo ${#files[@]}

将其中的2/3定义为样本量：

take=$((2*${#files[@]}/3)) 

for i in $(seq 1 $take)
do
    r=$((RANDOM%${#files[@]})) 
    echo ${files[r]}
done

这将选择重复，是没有用的空白和这样的文件名进行测试。

避免重复的最简单方法是，遍历所有文件，并以2/3的机会选择每个文件，但这不一定会导致200个文件。

如果从列表中选择了一个文件，它将满足您的要求：

#!/bin/bash
files=( * )
# define 2/3 of them as sample size:
take=$((2*${#files[@]}/3)) 

while (( i < $take ))
do
    r=$((RANDOM%${#files[@]})) 
    f=${files[r]}
    if [[ -n $f ]]
    then 
        i=$((i+1))    
        echo ${files[r]}
        unset files[r]    
    fi
done

如果需要在统计上是随机的，则不应使用RANDOM % ${#keys[@]}。考虑：

1. $RANDOM 具有32768个唯一值
2. 第一个选择是300个元素中的1个
3. 32768 = 109 * 300 + 68

因此，当选择第一项时，有68个第一元素中的每一个都有110/32768〜= 0.33569％的机会，而其他232个元素中的每一个都有109/32768〜= 0.33264％的机会。拣选以不同的机会重复了几次，但是每次都会偏向第一个元素32768 % ${#keys[@]} -ne 0，因此错误加剧了。

这应该是无偏见的，并且可以使用任何文件名：

while IFS= read -r -d '' -u 9
do
    mv -- "$REPLY" /target/dir
done 9< <(find /source/dir -mindepth 1 -print0 | shuf -n 200 -z)

凯文的解决方案效果很好！我已经使用了很多其他东西，因为它发现更容易记住我的头顶是这样的：

cp `ls | shuf -n 200` destination

重击一班

ls original_directory/|sort -R|head -number_of_files_to_move|while read file; do cp "new_directory/"$file test; done