在numpy数组中查找模式的最有效方法


84

我有一个包含整数(正数或负数)的2D数组。每一行代表特定空间站点随时间的值,而每一列代表给定时间内各种空间站点的值。

因此,如果数组是这样的:

1 3 4 2 2 7
5 2 2 1 4 1
3 3 2 2 1 1

结果应该是

1 3 2 2 2 1

注意,当模式有多个值时,可以将任何一个(随机选择)设置为模式。

我可以一次遍历找到模式的列,但我希望numpy可能有一些内置函数来做到这一点。或者,如果有一个技巧可以有效地发现而不循环。



1
@ tom10:您的意思是scipy.stats.mode(),对吗?另一个似乎输出一个掩码数组。
2013年

@fgb:对,感谢您的更正(并为您的回答+1)。
tom10年

Answers:


115

检查scipy.stats.mode()(灵感来自@ tom10的评论):

import numpy as np
from scipy import stats

a = np.array([[1, 3, 4, 2, 2, 7],
              [5, 2, 2, 1, 4, 1],
              [3, 3, 2, 2, 1, 1]])

m = stats.mode(a)
print(m)

输出:

ModeResult(mode=array([[1, 3, 2, 2, 1, 1]]), count=array([[1, 2, 2, 2, 1, 2]]))

如您所见,它既返回模式又返回计数。您可以直接通过m[0]以下方式选择模式:

print(m[0])

输出:

[[1 3 2 2 1 1]]

4
那么numpy本身不支持任何此类功能吗?
Nik

1
显然不是,但是scipy的实现仅依赖numpy,因此您可以将该代码复制到自己的函数中。
2013年

11
请注意,对于将来要查看此内容的人:您需要import scipy.stats明确地说明,当您简单地执行时就不会包括在内import scipy
2013年

1
您能解释一下显示模式值和计数的精确度吗?我无法将输出与提供的输入相关联。
拉胡尔

2
@Rahul:您必须考虑默认的第二个参数axis=0。上面的代码报告输入每一列的模式。该计数告诉我们在每一列中看到报告模式的次数。如果需要整体模式,则需要指定axis=None。有关更多信息,请参阅docs.scipy.org/doc/scipy/reference/genic/…–
fgb

22

更新资料

scipy.stats.mode自发布以来,该功能已得到显着优化,将是推荐的方法

旧答案

这是一个棘手的问题,因为沿轴计算模式的地方不多。该解决方案是直线前进1-d阵列,其中numpy.bincount是很方便的,沿着numpy.uniquereturn_countsARG作为True。我看到的最常见的n维函数是scipy.stats.mode,尽管它的速度非常慢-特别是对于具有许多唯一值的大型数组。作为解决方案,我开发了此功能并大量使用:

import numpy

def mode(ndarray, axis=0):
    # Check inputs
    ndarray = numpy.asarray(ndarray)
    ndim = ndarray.ndim
    if ndarray.size == 1:
        return (ndarray[0], 1)
    elif ndarray.size == 0:
        raise Exception('Cannot compute mode on empty array')
    try:
        axis = range(ndarray.ndim)[axis]
    except:
        raise Exception('Axis "{}" incompatible with the {}-dimension array'.format(axis, ndim))

    # If array is 1-D and numpy version is > 1.9 numpy.unique will suffice
    if all([ndim == 1,
            int(numpy.__version__.split('.')[0]) >= 1,
            int(numpy.__version__.split('.')[1]) >= 9]):
        modals, counts = numpy.unique(ndarray, return_counts=True)
        index = numpy.argmax(counts)
        return modals[index], counts[index]

    # Sort array
    sort = numpy.sort(ndarray, axis=axis)
    # Create array to transpose along the axis and get padding shape
    transpose = numpy.roll(numpy.arange(ndim)[::-1], axis)
    shape = list(sort.shape)
    shape[axis] = 1
    # Create a boolean array along strides of unique values
    strides = numpy.concatenate([numpy.zeros(shape=shape, dtype='bool'),
                                 numpy.diff(sort, axis=axis) == 0,
                                 numpy.zeros(shape=shape, dtype='bool')],
                                axis=axis).transpose(transpose).ravel()
    # Count the stride lengths
    counts = numpy.cumsum(strides)
    counts[~strides] = numpy.concatenate([[0], numpy.diff(counts[~strides])])
    counts[strides] = 0
    # Get shape of padded counts and slice to return to the original shape
    shape = numpy.array(sort.shape)
    shape[axis] += 1
    shape = shape[transpose]
    slices = [slice(None)] * ndim
    slices[axis] = slice(1, None)
    # Reshape and compute final counts
    counts = counts.reshape(shape).transpose(transpose)[slices] + 1

    # Find maximum counts and return modals/counts
    slices = [slice(None, i) for i in sort.shape]
    del slices[axis]
    index = numpy.ogrid[slices]
    index.insert(axis, numpy.argmax(counts, axis=axis))
    return sort[index], counts[index]

结果:

In [2]: a = numpy.array([[1, 3, 4, 2, 2, 7],
                         [5, 2, 2, 1, 4, 1],
                         [3, 3, 2, 2, 1, 1]])

In [3]: mode(a)
Out[3]: (array([1, 3, 2, 2, 1, 1]), array([1, 2, 2, 2, 1, 2]))

一些基准:

In [4]: import scipy.stats

In [5]: a = numpy.random.randint(1,10,(1000,1000))

In [6]: %timeit scipy.stats.mode(a)
10 loops, best of 3: 41.6 ms per loop

In [7]: %timeit mode(a)
10 loops, best of 3: 46.7 ms per loop

In [8]: a = numpy.random.randint(1,500,(1000,1000))

In [9]: %timeit scipy.stats.mode(a)
1 loops, best of 3: 1.01 s per loop

In [10]: %timeit mode(a)
10 loops, best of 3: 80 ms per loop

In [11]: a = numpy.random.random((200,200))

In [12]: %timeit scipy.stats.mode(a)
1 loops, best of 3: 3.26 s per loop

In [13]: %timeit mode(a)
1000 loops, best of 3: 1.75 ms per loop

编辑:提供了更多的背景,并修改了方法以提高内存效率


1
请把它贡献给scipy的stat模块,这样其他人也可以从中受益。
ARF

对于具有较大int ndarrays的高维问题,您的解决方案似乎仍然比scipy.stats.mode更快。我必须沿着4x250x250x500 ndarray的第一个轴计算模式,您的函数花了10s,而scipy.stats.mode花了将近600s。
CheshireCat

11

扩展此方法,适用于查找数据模式,在该模式下您可能需要实际数组的索引才能查看该值与分布中心的距离。

(_, idx, counts) = np.unique(a, return_index=True, return_counts=True)
index = idx[np.argmax(counts)]
mode = a[index]

请记住,当len(np.argmax(counts))> 1时放弃该模式,还要验证它是否实际上代表数据的中心分布,您可以检查它是否落在标准偏差区间内。


如果不指定轴,np.argmax什么时候返回长度大于1的东西?
loganjones19

9

一个使用numpy(而scipy不是Counter类)的简洁解决方案:

A = np.array([[1,3,4,2,2,7], [5,2,2,1,4,1], [3,3,2,2,1,1]])

np.apply_along_axis(lambda x: np.bincount(x).argmax(), axis=0, arr=A)

数组([1,3,2,2,1,1])


1
简洁明了,但如果原始数组包含非常大的数目,则应谨慎使用,因为bincount将为每个原始数组A [i]创建带有len(max(A [i]))的bin数组。
scottlittle

这是一个很棒的解决方案。实际上存在一个缺点scipy.stats.mode。当有多个出现次数最多的值(多个模式)时,它将引发期望值。但是此方法将自动采用“第一模式”。
Christopher

5

如果只想使用numpy:

x = [-1, 2, 1, 3, 3]
vals,counts = np.unique(x, return_counts=True)

(array([-1,  1,  2,  3]), array([1, 1, 1, 2]))

并将其提取:

index = np.argmax(counts)
return vals[index]

之所以喜欢这种方法,是因为它不仅支持整数,而且还支持浮点数甚至是字符串!
克里斯托弗

3

我认为一种非常简单的方法是使用Counter类。然后,您可以使用计数器实例的most_common()函数提到这里

对于一维数组:

import numpy as np
from collections import Counter

nparr = np.arange(10) 
nparr[2] = 6 
nparr[3] = 6 #6 is now the mode
mode = Counter(nparr).most_common(1)
# mode will be [(6,3)] to give the count of the most occurring value, so ->
print(mode[0][0])    

对于多维数组(小的差异):

import numpy as np
from collections import Counter

nparr = np.arange(10) 
nparr[2] = 6 
nparr[3] = 6 
nparr = nparr.reshape((10,2,5))     #same thing but we add this to reshape into ndarray
mode = Counter(nparr.flatten()).most_common(1)  # just use .flatten() method

# mode will be [(6,3)] to give the count of the most occurring value, so ->
print(mode[0][0])

这可能是有效的实现方式,也可能不是,但是很方便。


2
from collections import Counter

n = int(input())
data = sorted([int(i) for i in input().split()])

sorted(sorted(Counter(data).items()), key = lambda x: x[1], reverse = True)[0][0]

print(Mean)

Counter(data)计数频率,并返回一个defaultdict。sorted(Counter(data).items())使用键而不是频率进行排序。最后,需要使用另一个与排序的频率key = lambda x: x[1]。反之则告诉Python将频率从最大到最小排序。


自从6年前提出这个问题以来,他没有获得太多声誉是很正常的。
Zeliha Bektas,

1

Python中获取列表或数组模式的最简单方法

   import statistics
   print("mode = "+str(statistics.(mode(a)))

而已

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.