UNIX sort命令如何对很大的文件进行排序？

UNIX sort命令可以对非常大的文件进行排序，如下所示：

sort large_file

排序算法如何实现？

它怎么不会导致过多的内存消耗？

UNIX Sort命令的算法细节说，Unix Sort使用外部R-Way合并排序算法。该链接会涉及更多细节，但从本质上讲，它会将输入分成较小的部分（适合内存），然后最后将每个部分合并在一起。

该sort命令将工作数据存储在临时磁盘文件中（通常在中/tmp）。

警告：此脚本每块启动一个shell，对于非常大的文件，可能是数百个。

这是我为此目的编写的脚本。在4处理器的机器上，它将排序性能提高了100％！

#! /bin/ksh

MAX_LINES_PER_CHUNK=1000000
ORIGINAL_FILE=$1
SORTED_FILE=$2
CHUNK_FILE_PREFIX=$ORIGINAL_FILE.split.
SORTED_CHUNK_FILES=$CHUNK_FILE_PREFIX*.sorted

usage ()
{
     echo Parallel sort
     echo usage: psort file1 file2
     echo Sorts text file file1 and stores the output in file2
     echo Note: file1 will be split in chunks up to $MAX_LINES_PER_CHUNK lines
     echo  and each chunk will be sorted in parallel
}

# test if we have two arguments on the command line
if [ $# != 2 ]
then
    usage
    exit
fi

#Cleanup any lefover files
rm -f $SORTED_CHUNK_FILES > /dev/null
rm -f $CHUNK_FILE_PREFIX* > /dev/null
rm -f $SORTED_FILE

#Splitting $ORIGINAL_FILE into chunks ...
split -l $MAX_LINES_PER_CHUNK $ORIGINAL_FILE $CHUNK_FILE_PREFIX

for file in $CHUNK_FILE_PREFIX*
do
    sort $file > $file.sorted &
done
wait

#Merging chunks to $SORTED_FILE ...
sort -m $SORTED_CHUNK_FILES > $SORTED_FILE

#Cleanup any lefover files
rm -f $SORTED_CHUNK_FILES > /dev/null
rm -f $CHUNK_FILE_PREFIX* > /dev/null

另请参阅：“ 使用Shell脚本更快地对大型文件进行排序 ”

我不熟悉该程序，但我猜它是通过外部排序完成的（大多数问题都保存在临时文件中，而问题的一小部分一次保存在内存中）。参见Donald Knuth的“计算机编程艺术”，第1卷。3排序和搜索，第5.4节，对该主题进行了非常深入的讨论。

#!/bin/bash

usage ()
{
    echo Parallel sort
    echo usage: psort file1 file2
    echo Sorts text file file1 and stores the output in file2
}

# test if we have two arguments on the command line
if [ $# != 2 ]
then
    usage
    exit
fi

pv $1 | parallel --pipe --files sort -S512M | parallel -Xj1 sort -S1024M -m {} ';' rm {} > $2

仔细查看排序选项以提高性能，并了解它对您的计算机和问题的影响。Ubuntu上的关键参数是

• 临时文件的位置-T directory_name
• 使用的内存量-SN％（使用的所有内存的N％越多越好，但要避免过度预订，否则会导致交换到磁盘。您可以像“ -S 80％”那样使用它来使用80％的可用RAM，或“ -S 2G”获得2 GB RAM。）

发问者问“为什么没有高内存使用率？” 答案来自历史，较旧的UNIX机器很小，并且默认内存大小设置为很小。为您的工作负载调整尽可能大的值，以大大提高排序性能。将工作目录设置为最快的设备上具有足够空间来容纳至少1.25 *大小的文件的位置。

内存应该不是问题-排序已经解决了。如果您想最佳利用多核CPU，我已经在一个小的脚本中实现了这一点（类似于您可能在网上找到的脚本，但是比大多数脚本更简单/更干净；）。

#!/bin/bash
# Usage: psort filename <chunksize> <threads>
# In this example a the file largefile is split into chunks of 20 MB.
# The part are sorted in 4 simultaneous threads before getting merged.
# 
# psort largefile.txt 20m 4    
#
# by h.p.
split -b $2 $1 $1.part
suffix=sorttemp.`date +%s`
nthreads=$3
i=0
for fname in `ls *$1.part*`
do
    let i++
    sort $fname > $fname.$suffix &
    mres=$(($i % $nthreads))
    test "$mres" -eq 0 && wait
done
wait
sort -m *.$suffix 
rm $1.part*