我有一个包含数千个数字的文件,每个数字都在自己的行上:
34
42
11
6
2
99
...
我正在寻找一个脚本,它将打印文件中所有数字的总和。我有一个解决方案,但是效率不是很高。(运行需要几分钟。)我正在寻找一种更有效的解决方案。有什么建议?
awk
和的纯shell bc
)。这些都在不到10秒的时间内完成了100万个数字的累加。看看这些,看看如何在纯外壳中完成它。
我有一个包含数千个数字的文件,每个数字都在自己的行上:
34
42
11
6
2
99
...
我正在寻找一个脚本,它将打印文件中所有数字的总和。我有一个解决方案,但是效率不是很高。(运行需要几分钟。)我正在寻找一种更有效的解决方案。有什么建议?
awk
和的纯shell bc
)。这些都在不到10秒的时间内完成了100万个数字的累加。看看这些,看看如何在纯外壳中完成它。
Answers:
对于Perl一线软件,它基本上与Ayman Hourieh的答案中的awk
解决方案相同:
% perl -nle '$sum += $_ } END { print $sum'
如果您对Perl单一代码的用途感到好奇,则可以贬低它们:
% perl -MO=Deparse -nle '$sum += $_ } END { print $sum'
结果是该程序的更详细的版本,其形式是没有人可以自己编写的:
BEGIN { $/ = "\n"; $\ = "\n"; }
LINE: while (defined($_ = <ARGV>)) {
chomp $_;
$sum += $_;
}
sub END {
print $sum;
}
-e syntax OK
仅出于傻笑,我尝试了使用包含1,000,000个数字(范围为0-9,999)的文件进行此操作。在我的Mac Pro上,它几乎立即返回。太糟糕了,因为我希望使用起来mmap
会很快,但这是同时的:
use 5.010;
use File::Map qw(map_file);
map_file my $map, $ARGV[0];
$sum += $1 while $map =~ m/(\d+)/g;
say $sum;
while { }
在您的程序周围添加循环。如果放进去} ... {
,那你就有了while { } ... { }
。邪恶?略。
-MO=Deparse
选项的大奖金!即使在单独的主题上。
您可以使用awk:
awk '{ sum += $1 } END { print sum }' file
-F '\t'
如果您的字段包含空格并且由制表符分隔,则可以使用该选项。
到目前为止,没有一种解决方案可以使用paste
。这是一个:
paste -sd+ filename | bc
例如,计算Σn,其中1 <= n <= 100000:
$ seq 100000 | paste -sd+ | bc -l
5000050000
(出于好奇,seq n
可以打印从1
到n
给定正数的数字序列n
。)
seq 100000 | paste -sd+ - | bc -l
在Mac OS X Bash shell上。这是迄今为止最甜蜜,最统一的解决方案!
只是为了好玩,让我们对其进行基准测试:
$ for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers
$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
16379866392
real 0m0.226s
user 0m0.219s
sys 0m0.002s
$ time awk '{ sum += $1 } END { print sum }' random_numbers
16379866392
real 0m0.311s
user 0m0.304s
sys 0m0.005s
$ time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
16379866392
real 0m0.445s
user 0m0.438s
sys 0m0.024s
$ time { s=0;while read l; do s=$((s+$l));done<random_numbers;echo $s; }
16379866392
real 0m9.309s
user 0m8.404s
sys 0m0.887s
$ time { s=0;while read l; do ((s+=l));done<random_numbers;echo $s; }
16379866392
real 0m7.191s
user 0m6.402s
sys 0m0.776s
$ time { sed ':a;N;s/\n/+/;ta' random_numbers|bc; }
^C
real 4m53.413s
user 4m52.584s
sys 0m0.052s
5分钟后我放弃了sed运行
我一直在潜水 a,而且速度很快:
$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers
16388542582.0
real 0m0.362s
user 0m0.313s
sys 0m0.063s
当我更新它时,ruby:
$ time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
16388542582
real 0m0.378s
user 0m0.297s
sys 0m0.078s
注意埃德·莫顿的建议:使用 $1
$ time awk '{ sum += $1 } END { print sum }' random_numbers
16388542582
real 0m0.421s
user 0m0.359s
sys 0m0.063s
与使用 $0
$ time awk '{ sum += $0 } END { print sum }' random_numbers
16388542582
real 0m0.302s
user 0m0.234s
sys 0m0.063s
tr
解决方案差不多。
$0
而不是使用awk脚本,则它的执行速度会更快一些,$1
因为如果脚本中特别提到了任何字段,那么awk就会进行字段拆分(显然会花费时间)。
这是直接的Bash:
sum=0
while read -r line
do
(( sum += line ))
done < file
echo $sum
我更喜欢将GNU datamash用于此类任务,因为它比perl或awk更简洁明了。例如
datamash sum 1 < myfile
其中1表示数据的第一列。
cat nums | perl -ne '$sum += $_ } { print $sum'
(与brian d Foy的答案相同,但不带“ END”)
perl -MO=Deparse
以了解perl如何解析程序。或perlrun的文档:perldoc.perl.org/perlrun.html(搜索-n)。如果您使用-n,则perl用{}包装您的代码,因此它成为一个完整的程序。
这是使用带有生成器表达式的python的解决方案。在我的老旧笔记本电脑上测试了100万个数字。
time python -c "import sys; print sum((float(l) for l in sys.stdin))" < file
real 0m0.619s
user 0m0.512s
sys 0m0.028s
map()
:map(float, sys.stdin)
我不能只是路过...这是我的Haskell一线客。它实际上很可读:
sum <$> (read <$>) <$> lines <$> getContents
不幸的是,不能ghci -e
只运行它,因此它需要主要功能,打印和编译。
main = (sum <$> (read <$>) <$> lines <$> getContents) >>= print
为了清楚起见,我们读取了整个输入(getContents
),将其除以lines
,分别read
为数字和sum
。<$>
是fmap
操作员-我们使用它而不是通常的函数应用程序,因为确保所有这些操作都在IO中发生。read
需要一个额外的fmap
,因为它也在列表中。
$ ghc sum.hs
[1 of 1] Compiling Main ( sum.hs, sum.o )
Linking sum ...
$ ./sum
1
2
4
^D
7
这是一个奇怪的升级,使其可以与浮点数一起使用:
main = ((0.0 + ) <$> sum <$> (read <$>) <$> lines <$> getContents) >>= print
$ ./sum
1.3
2.1
4.2
^D
7.6000000000000005
我已经编写了一个R脚本来接受文件名的参数并对行进行求和。
#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(as.numeric(readLines(file)))
可以使用“ data.table”或“ vroom”包来加速,如下所示:
#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(data.table::fread(file))
#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(vroom::vroom(file))
与@glenn jackman相同的基准数据。
for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers
与上面的R调用相比,将R 3.5.0作为脚本运行与其他方法(在同一Linux Debian服务器上)相当。
$ time R -e 'sum(scan("random_numbers"))'
0.37s user
0.04s system
86% cpu
0.478 total
具有readLines的R脚本
$ time Rscript sum.R random_numbers
0.53s user
0.04s system
84% cpu
0.679 total
带有data.table的R脚本
$ time Rscript sum.R random_numbers
0.30s user
0.05s system
77% cpu
0.453 total
带vroom的R脚本
$ time Rscript sum.R random_numbers
0.54s user
0.11s system
93% cpu
0.696 total
作为参考,作为在相同硬件上建议的其他一些方法
Python 2(2.7.13)
$ time python2 -c "import sys; print sum((float(l) for l in sys.stdin))" < random_numbers
0.27s user 0.00s system 89% cpu 0.298 total
Python 3(3.6.8)
$ time python3 -c "import sys; print(sum((float(l) for l in sys.stdin)))" < random_number
0.37s user 0.02s system 98% cpu 0.393 total
红宝石(2.3.3)
$ time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
0.42s user
0.03s system
72% cpu
0.625 total
Perl(5.24.1)
$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
0.24s user
0.01s system
99% cpu
0.249 total
AWK(4.1.4)
$ time awk '{ sum += $0 } END { print sum }' random_numbers
0.26s user
0.01s system
99% cpu
0.265 total
$ time awk '{ sum += $1 } END { print sum }' random_numbers
0.34s user
0.01s system
99% cpu
0.354 total
C(clang版本3.3; gcc(Debian 6.3.0-18)6.3.0)
$ gcc sum.c -o sum && time ./sum < random_numbers
0.10s user
0.00s system
96% cpu
0.108 total
卢阿(5.3.5)
$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers
0.30s user
0.01s system
98% cpu
0.312 total
tr(8.26)必须以bash计时,与zsh不兼容
$time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
real 0m0.494s
user 0m0.488s
sys 0m0.044s
sed(4.4)必须以bash计时,与zsh不兼容
$ time { head -n 10000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real 0m0.631s
user 0m0.628s
sys 0m0.008s
$ time { head -n 100000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real 1m2.593s
user 1m2.588s
sys 0m0.012s
注意:sed调用在具有更多可用内存的系统上似乎工作更快(请注意,用于sed基准测试的数据集较小)
朱莉娅(0.5.0)
$ time julia -e 'print(sum(readdlm("random_numbers")))'
3.00s user
1.39s system
136% cpu
3.204 total
$ time julia -e 'print(sum(readtable("random_numbers")))'
0.63s user
0.96s system
248% cpu
0.638 total
注意,与R中一样,文件I / O方法具有不同的性能。
C总是以速度取胜:
#include <stdio.h>
#include <stdlib.h>
int main(int argc, char **argv) {
ssize_t read;
char *line = NULL;
size_t len = 0;
double sum = 0.0;
while (read = getline(&line, &len, stdin) != -1) {
sum += atof(line);
}
printf("%f", sum);
return 0;
}
1M数字的计时(与我的python答案相同的机器/输入):
$ gcc sum.c -o sum && time ./sum < numbers
5003371677.000000
real 0m0.188s
user 0m0.180s
sys 0m0.000s
使用Ruby:
ruby -e "File.read('file.txt').split.inject(0){|mem, obj| mem += obj.to_f}"
ruby -e'p readlines.map(&:to_f).reduce(:+)'
。
考虑到您需要通读整个文件,我不知道您是否可以做得更好。
$sum = 0;
while(<>){
$sum += $_;
}
print $sum;
$_
是默认变量。<>
当您<>
在中使用时,默认情况下,行输入运算符会将其结果放入其中while
。
$_
是主题变量,其作用类似于“ it”。在这种情况下,<>
为其分配每一行。它在许多地方得到了使用,以减少代码混乱并帮助编写单行代码。脚本说:“将总和设置为0,读取每一行并将其添加到总和中,然后打印总和。”
$sum
。因为这很简单,所以您甚至可以使用语句修饰符while
:$sum += $_ while <>; print $sum;
我没有测试过,但它应该可以工作:
cat f | tr "\n" "+" | sed 's/+$/\n/' | bc
如果bc不处理EOF和EOL,则可能必须在bc之前的字符串中添加“ \ n”(例如通过echo)。
bc
由于末尾带有“ +”且末尾缺少换行符而发出语法错误。这将起作用,并且消除了对cat
:{ tr "\n" "+" | sed 's/+$/\n/'| bc; } < numbers2.txt
或 <numbers2.txt tr "\n" "+" | sed 's/+$/\n/'| bc
tr "\n" "+" <file | sed 's/+$/\n/' | bc
在Go中:
package main
import (
"bufio"
"fmt"
"os"
"strconv"
)
func main() {
scanner := bufio.NewScanner(os.Stdin)
sum := int64(0)
for scanner.Scan() {
v, err := strconv.ParseInt(scanner.Text(), 10, 64)
if err != nil {
fmt.Fprintf(os.Stderr, "Not an integer: '%s'\n", scanner.Text())
os.Exit(1)
}
sum += v
}
fmt.Println(sum)
}