使用scipy / numpy在python中合并数据


107

有没有更有效的方法来对预先指定的bin中的数组取平均值?例如,我有一个数字数组以及一个与该数组中bin的开始和结束位置相对应的数组,我只想取这些bin中的均值?我下面有执行此操作的代码,但我想知道如何减少和改进它。谢谢。

from scipy import *
from numpy import *

def get_bin_mean(a, b_start, b_end):
    ind_upper = nonzero(a >= b_start)[0]
    a_upper = a[ind_upper]
    a_range = a_upper[nonzero(a_upper < b_end)[0]]
    mean_val = mean(a_range)
    return mean_val


data = rand(100)
bins = linspace(0, 1, 10)
binned_data = []

n = 0
for n in range(0, len(bins)-1):
    b_start = bins[n]
    b_end = bins[n+1]
    binned_data.append(get_bin_mean(data, b_start, b_end))

print binned_data

Answers:


181

它可能更快,更容易使用numpy.digitize()

import numpy
data = numpy.random.random(100)
bins = numpy.linspace(0, 1, 10)
digitized = numpy.digitize(data, bins)
bin_means = [data[digitized == i].mean() for i in range(1, len(bins))]

替代方法是使用numpy.histogram()

bin_means = (numpy.histogram(data, bins, weights=data)[0] /
             numpy.histogram(data, bins)[0])

自己尝试哪个更快... :)


1
我看不到差异-哪个更快?

4
@user:我不知道哪种数据和参数更快。两种方法都应该比您的方法快,而且我希望histogram()对于大量垃圾箱,该方法也要更快。但是您必须自我介绍,我不能为您做这件事。
Sven Marnach

39

Scipy(> = 0.11)函数scipy.stats.binned_statistic特别解决了上述问题。

对于与先前答案相同的示例,Scipy解决方案将是

import numpy as np
from scipy.stats import binned_statistic

data = np.random.rand(100)
bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0]

16

不知道为什么这个线程坏掉了;但是这是2014年批准的答案,应该更快一些:

import numpy as np

data = np.random.rand(100)
bins = 10
slices = np.linspace(0, 100, bins+1, True).astype(np.int)
counts = np.diff(slices)

mean = np.add.reduceat(data, slices[:-1]) / counts
print mean

3
您正在回答另一个问题。例如,您的mean[0] = np.mean(data[0:10]),而正确的答案应该是np.mean(data[data < 10])
Ruggero Turra

5

numpy_indexed包(免责声明:我是它的作者)包含的功能有效地执行这种类型的操作:

import numpy_indexed as npi
print(npi.group_by(np.digitize(data, bins)).mean(data))

这基本上与我之前发布的解决方案相同;但现在包装在一个不错的界面中,包括测试和所有功能:)



1

另一种选择是使用ufunc.at。此方法在指定索引处就地应用所需的操作。我们可以使用searchsorted方法获取每个数据点的bin位置。然后,每次在bin_indexes遇到索引时,我们就可以使用at将bin_indexes给定的索引处的直方图位置增加1。

np.random.seed(1)
data = np.random.random(100) * 100
bins = np.linspace(0, 100, 10)

histogram = np.zeros_like(bins)

bin_indexes = np.searchsorted(bins, data)
np.add.at(histogram, bin_indexes, 1)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.