Answers:
要查看第二列的频率计数(例如):
awk -F '\t' '{print $2}' * | sort | uniq -c | sort -nr
fileA.txt
z z a
a b c
w d e
fileB.txt
t r e
z d a
a g c
fileC.txt
z r a
v d c
a m c
结果:
3 d
2 r
1 z
1 m
1 g
1 b
在GNU网站表明这个漂亮的awk脚本,它打印两个单词和它们的频率。
可能的变化:
sort -nr
(并反向word
和freq[word]
)以降序查看结果。freq[3]++
-用列号替换3。开始:
# wordfreq.awk --- print list of word frequencies
{
$0 = tolower($0) # remove case distinctions
# remove punctuation
gsub(/[^[:alnum:]_[:blank:]]/, "", $0)
for (i = 1; i <= NF; i++)
freq[$i]++
}
END {
for (word in freq)
printf "%s\t%d\n", word, freq[word]
}
这段代码计算所有列的出现,并为它们中的每一个打印一个排序的报告:
# columnvalues.pl
while (<>) {
@Fields = split /\s+/;
for $i ( 0 .. $#Fields ) {
$result[$i]{$Fields[$i]}++
};
}
for $j ( 0 .. $#result ) {
print "column $j:\n";
@values = keys %{$result[$j]};
@sorted = sort { $result[$j]{$b} <=> $result[$j]{$a} || $a cmp $b } @values;
for $k ( @sorted ) {
print " $k $result[$j]{$k}\n"
}
}
将文本另存为columnvalues.pl
。 perl columnvalues.pl files*
在顶级的while循环中:
*循环合并输入文件的每一行
*将行拆分为@Fields数组
*对于每一列,请增加结果哈希数组数据结构
在顶层for循环中:
*在结果数组上循环
*打印列号
*获取该列中使用的值
*按出现的次数对值进行
排序*基于值的二级排序(例如b vs g vs m vs z)
*使用排序后的列表遍历结果哈希
*打印每次出现的值和编号
column 0:
a 3
z 3
t 1
v 1
w 1
column 1:
d 3
r 2
b 1
g 1
m 1
z 1
column 2:
c 4
a 3
e 2
如果您的输入文件是.csv,请更改/\s+/
为/,/
在一个丑陋的比赛中,Perl装备精良。
这种单线执行相同的操作:
perl -lane 'for $i (0..$#F){$g[$i]{$F[$i]}++};END{for $j (0..$#g){print "$j:";for $k (sort{$g[$j]{$b}<=>$g[$j]{$a}||$a cmp $b} keys %{$g[$j]}){print " $k $g[$j]{$k}"}}}' files*
红宝石(1.9+)
#!/usr/bin/env ruby
Dir["*"].each do |file|
h=Hash.new(0)
open(file).each do |row|
row.chomp.split("\t").each do |w|
h[ w ] += 1
end
end
h.sort{|a,b| b[1]<=>a[1] }.each{|x,y| print "#{x}:#{y}\n" }
end
each_with_object
等等。简而言之,这写得有些粗略。