从bash模拟“分组依据”的最佳方法？

假设您有一个包含IP地址的文件，每行一个地址：

10.0.10.1
10.0.10.1
10.0.10.3
10.0.10.2
10.0.10.1

您需要一个Shell脚本，该脚本针对每个IP地址计算它在文件中出现的次数。对于先前的输入，您需要以下输出：

10.0.10.1 3
10.0.10.2 1
10.0.10.3 1

一种方法是：

cat ip_addresses |uniq |while read ip
do
    echo -n $ip" "
    grep -c $ip ip_addresses
done

但是，这实际上远非有效。

您如何使用bash更有效地解决此问题？

（要添加的一件事：我知道可以通过perl或awk解决它，我对bash而不是那些语言的更好解决方案感兴趣。）

附加信息：

假设源文件为5GB，运行该算法的计算机为4GB。因此，排序不是一种有效的解决方案，读取文件也不止一次。

我喜欢类似散列表的解决方案-任何人都可以对该解决方案进行改进吗？

其他信息＃2：

有人问为什么在例如perl中更容易用bash进行操作呢？原因是在我必须执行此操作的机器上，我无法使用perl。这是一台定制的Linux机器，没有我惯用的大多数工具。我认为这是一个有趣的问题。

因此，请不要怪这个问题，如果您不喜欢它，那就忽略它。:-)

sort ip_addresses | uniq -c

这将首先打印计数，但除此之外，它应该正是您想要的。

快速而肮脏的方法如下：

cat ip_addresses | sort -n | uniq -c

如果需要使用bash中的值，则可以将整个命令分配给bash变量，然后循环遍历结果。

聚苯乙烯

如果省略了sort命令，那么由于uniq只看连续的相同行，您将不会得到正确的结果。

要基于一组现有字段汇总多个字段，请使用以下示例：（根据您的要求替换$ 1，$ 2，$ 3，$ 4）

cat file

US|A|1000|2000
US|B|1000|2000
US|C|1000|2000
UK|1|1000|2000
UK|1|1000|2000
UK|1|1000|2000

awk 'BEGIN { FS=OFS=SUBSEP="|"}{arr[$1,$2]+=$3+$4 }END {for (i in arr) print i,arr[i]}' file

US|A|3000
US|B|3000
US|C|3000
UK|1|9000

规范的解决方案是另一位受访者提到的解决方案：

sort | uniq -c

它比用Perl或awk编写的内容更短，更简洁。

您写您不想使用排序，因为数据的大小大于机器的主内存大小。不要低估Unix sort命令的实现质量。在内存为128k（即131,072字节）（PDP-11）的计算机上，使用Sort来处理大量数据（认为是AT＆T的原始账单数据）。当排序遇到的数据超过预设限制（通常将其调整为接近机器主内存的大小）时，它将对已在主内存中读取的数据进行排序并将其写入临时文件。然后，它对下一个数据块重复该操作。最后，它对那些中间文件执行合并排序。这样，排序就可以处理比机器主内存大许多倍的数据。

cat ip_addresses | sort | uniq -c | sort -nr | awk '{print $2 " " $1}'

该命令将为您提供所需的输出

似乎您必须使用大量代码来模拟bash中的哈希值以获得线性行为，或者坚持使用二次超线性版本。

在这些版本中，saua的解决方案是最好的（也是最简单的）：

sort -n ip_addresses.txt | uniq -c

我找到了http://unix.derkeiler.com/Newsgroups/comp.unix.shell/2005-11/0118.html。但这很丑陋...

解决方案（按mysql分组）

grep -ioh "facebook\|xing\|linkedin\|googleplus" access-log.txt | sort | uniq -c | sort -n

结果

3249  googleplus
4211 linkedin
5212 xing
7928 facebook

您可能可以将文件系统本身用作哈希表。伪代码如下：

for every entry in the ip address file; do
  let addr denote the ip address;

  if file "addr" does not exist; then
    create file "addr";
    write a number "0" in the file;
  else 
    read the number from "addr";
    increase the number by 1 and write it back;
  fi
done

最后，您需要做的就是遍历所有文件并打印其中的文件名和编号。另外，也可以不添加计数，而是每次都在文件后添加空格或换行符，最后只查看文件大小（以字节为单位）。

我觉得在这种情况下，awk关联数组也很方便

$ awk '{count[$1]++}END{for(j in count) print j,count[j]}' ips.txt

在这里发帖

其他大多数解决方案都计算重复项。如果您确实需要对键值对进行分组，请尝试以下操作：

这是我的示例数据：

find . | xargs md5sum
fe4ab8e15432161f452e345ff30c68b0 a.txt
30c68b02161e15435ff52e34f4fe4ab8 b.txt
30c68b02161e15435ff52e34f4fe4ab8 c.txt
fe4ab8e15432161f452e345ff30c68b0 d.txt
fe4ab8e15432161f452e345ff30c68b0 e.txt

这将打印按md5校验和分组的键值对。

cat table.txt | awk '{print $1}' | sort | uniq  | xargs -i grep {} table.txt
30c68b02161e15435ff52e34f4fe4ab8 b.txt
30c68b02161e15435ff52e34f4fe4ab8 c.txt
fe4ab8e15432161f452e345ff30c68b0 a.txt
fe4ab8e15432161f452e345ff30c68b0 d.txt
fe4ab8e15432161f452e345ff30c68b0 e.txt

纯 重击 （没有叉子！）

有一种方法，使用 重击功能。这种方式非常快，因为没有叉子！

...一堆IP地址保持很小！

countIp () { 
    local -a _ips=(); local _a
    while IFS=. read -a _a ;do
        ((_ips[_a<<24|${_a[1]}<<16|${_a[2]}<<8|${_a[3]}]++))
    done
    for _a in ${!_ips[@]} ;do
        printf "%.16s %4d\n" \
          $(($_a>>24)).$(($_a>>16&255)).$(($_a>>8&255)).$(($_a&255)) ${_ips[_a]}
    done
}

注意：IP地址将转换为32位无符号整数值，用作array的索引。这使用简单的bash数组，而不是关联数组（这样更昂贵）！

time countIp < ip_addresses 
10.0.10.1    3
10.0.10.2    1
10.0.10.3    1
real    0m0.001s
user    0m0.004s
sys     0m0.000s

time sort ip_addresses | uniq -c
      3 10.0.10.1
      1 10.0.10.2
      1 10.0.10.3
real    0m0.010s
user    0m0.000s
sys     0m0.000s

在我的主机上，这样做比使用派生要快得多，最多可使用约1000个地址，但是当我尝试对10 万个地址进行排序时，大约需要整整1秒钟的时间。

我会这样做的：

perl -e 'while (<>) {chop; $h{$_}++;} for $k (keys %h) {print "$k $h{$k}\n";}' ip_addresses

但uniq可能会为您工作。

我了解您在Bash中寻找某些东西，但是如果其他人可能正在Python中寻找一些东西，您可能需要考虑以下几点：

mySet = set()
for line in open("ip_address_file.txt"):
     line = line.rstrip()
     mySet.add(line)

由于默认情况下集合中的值是唯一的，而Python在这方面非常出色，因此您可能会在这里赢得一些东西。我尚未测试代码，因此可能会出现问题，但这可能会带您到那里。而且，如果您要计算发生次数，则使用dict而不是set易于实现。

编辑：我是一个糟糕的读者，所以我回答错了。这是一个带有dict的片段，该片段将计算出现次数。

mydict = {}
for line in open("ip_address_file.txt"):
    line = line.rstrip()
    if line in mydict:
        mydict[line] += 1
    else:
        mydict[line] = 1

现在，字典mydict拥有一个唯一IP作为键的列表，以及它们出现的次数作为其值的列表。

如果顺序不重要，则可以省略排序

uniq -c <source_file>

要么

echo "$list" | uniq -c

如果源列表是变量