更好地协调两个numpy数组的更好方法


239

我有两个不同形状的numpy数组,但是长度(引导尺寸)相同。我想对它们中的每一个进行混洗,以使相应的元素继续对应-即相对于它们的前导索引一致地对它们进行混洗。

该代码有效,并说明了我的目标:

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
    shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
    permutation = numpy.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

例如:

>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
       [1, 1],
       [3, 3]]), array([2, 1, 3]))

但是,这感觉笨拙,效率低下且速度慢,并且需要复制数组-我宁愿就地对其进行随机播放,因为它们会很大。

有更好的方法来解决这个问题吗?更快的执行速度和更低的内存使用是我的主要目标,但是优美的代码也将是不错的。

我的另一个想法是:

def shuffle_in_unison_scary(a, b):
    rng_state = numpy.random.get_state()
    numpy.random.shuffle(a)
    numpy.random.set_state(rng_state)
    numpy.random.shuffle(b)

这行得通...但是有点吓人,因为我看不到它会继续工作-例如,它看起来像不能在numpy版本中生存的那种东西。


9
六年后,这个问题的受欢迎程度使我感到惊讶和惊讶。巧合的是,对于Go 1.10,我为标准库贡献了math / rand.Shuffle。API的设计使得统一整理两个数组变得很简单,甚至在文档中都包含了这样做的示例。
Josh Bleecher Snyder

Answers:


72

您的“吓人”解决方案对我来说似乎并不可怕。调用shuffle()两个相同长度的序列会导致对随机数生成器的调用次数相同,这是随机播放算法中唯一的“随机”元素。通过重置状态,可以确保对随机数生成器的调用将在对的第二次调用中给出相同的结果shuffle(),因此整个算法将生成相同的排列。

如果您不喜欢这种方法,那么另一种解决方案是将数据存储在一个数组中,而不是从一开始就存储在两个数组中,然后在此单个数组中创建两个视图以模拟您现在拥有的两个数组。您可以将单个数组用于改组,并将视图用于所有其他目的。

例如:假设数组ab这个样子的:

a = numpy.array([[[  0.,   1.,   2.],
                  [  3.,   4.,   5.]],

                 [[  6.,   7.,   8.],
                  [  9.,  10.,  11.]],

                 [[ 12.,  13.,  14.],
                  [ 15.,  16.,  17.]]])

b = numpy.array([[ 0.,  1.],
                 [ 2.,  3.],
                 [ 4.,  5.]])

现在我们可以构造一个包含所有数据的数组:

c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[  0.,   1.,   2.,   3.,   4.,   5.,   0.,   1.],
#        [  6.,   7.,   8.,   9.,  10.,  11.,   2.,   3.],
#        [ 12.,  13.,  14.,  15.,  16.,  17.,   4.,   5.]])

现在我们创建模拟原始视图的视图 a和的b

a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)

的数据 a2b2共享c。要同时混洗两个数组,请使用numpy.random.shuffle(c)

在生产代码,你当然会尽量避免创建原始ab根本,并马上创建ca2b2

该解决方案能够适应的情况下a,并b有不同的dtypes。


关于:可怕的解决方案:我只是担心,不同形状的数组可能会(可以想象)对rng产生不同数量的调用,这将导致分歧。但是,我认为您是对的,当前的行为可能不太可能改变,并且非常简单的doctest确实使确认正确行为非常容易……
Josh Bleecher Snyder 2011年

我喜欢您建议的方法,并且可以肯定地安排a和b作为统一的c数组开始生活。但是,a和b在改组后不久必须连续(以有效地传输到GPU),因此我认为,在我的特殊情况下,无论如何我最终都会制作a和b的副本。:(
Josh Bleecher Snyder 2011年

@Josh:请注意,它可以numpy.random.shuffle()对任意可变序列(例如Python列表或NumPy数组)进行操作。数组的形状无关紧要,仅取决于序列的长度。我认为这很难改变。
Sven Marnach 2011年

我不知道 这使我对此更加满意。谢谢。
2011年

@SvenMarnach:我在下面发布了答案。您能否评论一下您是否认为这有意义/是否是一个好方法?
ajfbiw.s 2016年

351

您可以使用NumPy的数组索引

def unison_shuffled_copies(a, b):
    assert len(a) == len(b)
    p = numpy.random.permutation(len(a))
    return a[p], b[p]

这将导致创建单独的统一重组的数组。


13
由于使用高级索引,因此确实会创建副本。但是,当然比原始速度更快。
Sven Marnach 2011年

1
@mtrw:仅保留原始数组的事实并不排除返回的数组是相同数据的视图。但是它们的确不是,因为NumPy视图的灵活性不足以支持排列的视图(这也不可取)。
Sven Marnach 2011年

1
@Sven-我真的必须了解一些观点。@Dat Chu-我刚刚尝试过>>> t = timeit.Timer(stmt = "<function>(a,b)", setup = "import numpy as np; a,b = np.arange(4), np.arange(4*20).reshape((4,20))")>>> t.timeit(),OP版本的时间为38秒,我的版本为27.5秒,每个呼叫100万次。
mtrw 2011年

3
我真的很喜欢它的简单性和可读性,高级索引功能仍然让我感到惊讶和惊奇。为此,这个答案很容易得到+1。不过,奇怪的是,在我的(大型)数据集上,它比我的原始函数要慢:我的原始函数需要约1.8s进行10次迭代,而这需要约2.7s。这两个数字非常一致。我用来测试的数据集a.shape(31925, 405)b.shape(31925,)
Josh Bleecher Snyder 2011年

1
也许,速度慢与您不是就地执行操作而是创建新数组有关。或与CPython解析数组索引的方式有关。
伊霍尔Mé


33

很简单的解决方案:

randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]

现在,两个数组x,y都以相同的方式随机洗牌


5
这等效于mtrw的解决方案。您的前两行只是生成排列,但是可以在一行中完成。
Josh Bleecher Snyder

19

James在2015年编写了一个sklearn 解决方案,这很有帮助。但是他添加了一个不需要的随机状态变量。在下面的代码中,自动假定numpy为随机状态。

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y)

16
from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array

# Data is currently unshuffled; we should shuffle 
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]

12

仅使用NumPy将任意数量的数组混合在一起就位。

import numpy as np


def shuffle_arrays(arrays, set_seed=-1):
    """Shuffles arrays in-place, in the same order, along axis=0

    Parameters:
    -----------
    arrays : List of NumPy arrays.
    set_seed : Seed value if int >= 0, else seed is random.
    """
    assert all(len(arr) == len(arrays[0]) for arr in arrays)
    seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed

    for arr in arrays:
        rstate = np.random.RandomState(seed)
        rstate.shuffle(arr)

可以这样使用

a = np.array([1, 2, 3, 4, 5])
b = np.array([10,20,30,40,50])
c = np.array([[1,10,11], [2,20,22], [3,30,33], [4,40,44], [5,50,55]])

shuffle_arrays([a, b, c])

注意事项:

  • 该断言确保所有输入数组沿其第一维具有相同的长度。
  • 数组按其第一个维度在原地随机排列-没有返回任何内容。
  • int32正范围内的随机种子。
  • 如果需要重复播放,可以设置种子值。

随机播放后,可以np.split使用切片对数据进行拆分或使用切片进行引用-取决于应用程序。


2
漂亮的解决方案,这对我来说很完美。即使具有3+轴阵列
wprins

1
这是正确的答案。当您可以传递随机状态对象时,没有理由使用全局np.random。
色情

一个RandomState可以在循环外部使用。参见亚当·斯奈德的答案
bartolo-otrit

1
@ bartolo-otrit,在for循环中必须做出的选择是重新分配还是重新设定随机状态。由于传递给改组函数的数组数量预计会很小,所以我不希望两者之间的性能有所不同。但是可以的,rstate可以在循环外部分配,并在每次迭代时重新植入循环内部。
艾萨克·B

9

您可以制作一个像这样的数组:

s = np.arange(0, len(a), 1)

然后随机播放:

np.random.shuffle(s)

现在使用this作为数组的参数。相同的改组参数返回相同的改组向量。

x_data = x_data[s]
x_label = x_label[s]

确实,这是最好的解决方案,应该被接受!它甚至可以同时用于许多(超过2个)阵列。这个想法很简单:只需对索引列表[0,1,2,...,n-1]进行混洗,然后使用经过改组的索引对数组的行进行重新索引。真好!
Basj

5

可以对连接的列表执行就地改组的一种方法是使用种子(可以是随机的)并使用numpy.random.shuffle进行改组。

# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
   np.random.seed(seed)
   np.random.shuffle(a)
   np.random.seed(seed)
   np.random.shuffle(b)

而已。这将以完全相同的方式混洗a和b。这也就地完成,这总是一个优点。

编辑,不要使用np.random.seed()而是使用np.random.RandomState

def shuffle(a, b, seed):
   rand_state = np.random.RandomState(seed)
   rand_state.shuffle(a)
   rand_state.seed(seed)
   rand_state.shuffle(b)

调用它时,只需传入任何种子即可提供随机状态:

a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)

输出:

>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]

编辑:修复了重新设置随机状态的代码


此代码不起作用。RandomState会在第一次通话时更改状态,a并且b不会同时洗牌。
布鲁诺·克莱因

@BrunoKlein你是对的。我修复了帖子以重新设定随机状态。此外,即使就两个列表的同时重排而言,这并非是一致的,但就两个列表的相同方式而言,它们是一致的,并且也不需要更多的内存来保存一个列表。清单的副本(OP在他的问题中提到)
Adam Snaider

4

有一个众所周知的函数可以处理此问题:

from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)

只需将test_size设置为0即可避免拆分,并为您提供随机数据。尽管它通常用于拆分训练数据和测试数据,但它的确也可以洗牌。
文档

将数组或矩阵拆分为随机训练和测试子集

快速实用程序,用于包装输入验证以及next(ShuffleSplit()。split(X,y))和应用程序,以将数据输入到单个调用中,以便在oneliner中拆分(以及可选地对子采样)数据。


我不敢相信我从未想过。您的回答很棒。
阮长

2

假设我们有两个数组:a和b。

a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]]) 

我们首先可以通过排列第一维来获得行索引

indices = np.random.permutation(a.shape[0])
[1 2 0]

然后使用高级索引。在这里,我们使用相同的索引来同时对两个数组进行混洗。

a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]

这相当于

np.take(a, indices, axis=0)
[[4 5 6]
 [7 8 9]
 [1 2 3]]

np.take(b, indices, axis=0)
[[6 6 6]
 [4 2 0]
 [9 1 1]]

为什么不只是a [indices ,:]或b [indices ,:]?
Kev

1

如果要避免复制数组,则建议不要遍历数组,而是遍历数组中的每个元素,然后将其随机交换到数组中的另一个位置

for old_index in len(a):
    new_index = numpy.random.randint(old_index+1)
    a[old_index], a[new_index] = a[new_index], a[old_index]
    b[old_index], b[new_index] = b[new_index], b[old_index]

这实现了Knuth-Fisher-Yates随机播放算法。


3
codinghorror.com/blog/2007/12/the-danger-of-naivete.html使我对实现自己的随机播放算法保持警惕;这是我提出这个问题的部分原因。:)但是,您非常正确地指出,我应该考虑使用Knuth-Fisher-Yates算法。
2011年

很好发现,我现在已经修复了代码。无论如何,我认为就地改组的基本思想可以扩展到任意数量的数组,从而避免制作副本。
DaveP

代码仍然不正确(甚至无法运行)。要使其正常运行,请替换len(a)reversed(range(1, len(a)))。但是无论如何它都不是很有效。
Sven Marnach 2011年

1

这似乎是一个非常简单的解决方案:

import numpy as np
def shuffle_in_unison(a,b):

    assert len(a)==len(b)
    c = np.arange(len(a))
    np.random.shuffle(c)

    return a[c],b[c]

a =  np.asarray([[1, 1], [2, 2], [3, 3]])
b =  np.asarray([11, 22, 33])

shuffle_in_unison(a,b)
Out[94]: 
(array([[3, 3],
        [2, 2],
        [1, 1]]),
 array([33, 22, 11]))

0

举个例子,这就是我在做什么:

combo = []
for i in range(60000):
    combo.append((images[i], labels[i]))

shuffle(combo)

im = []
lab = []
for c in combo:
    im.append(c[0])
    lab.append(c[1])
images = np.asarray(im)
labels = np.asarray(lab)

1
这或多或少等于combo = zip(images, labels); shuffle(combo); im, lab = zip(*combo),只是速度较慢。由于无论如何您都在使用Numpy,因此一个更快的解决方案是使用Numpy压缩数组combo = np.c_[images, labels],随机播放并再次解压缩images, labels = combo.T。假设labelsimages是开始时相同长度的一维Numpy数组,这将很容易成为最快的解决方案。如果它们是多维的,请参见上面的答案。
Sven Marnach '16

好吧,这很有道理。谢谢!@SvenMarnach
ajfbiw.s

0

我扩展了python的random.shuffle()以获取第二个参数:

def shuffle_together(x, y):
    assert len(x) == len(y)

    for i in reversed(xrange(1, len(x))):
        # pick an element in x[:i+1] with which to exchange x[i]
        j = int(random.random() * (i+1))
        x[i], x[j] = x[j], x[i]
        y[i], y[j] = y[j], y[i]

这样,我可以确定改组发生在原位,并且函数不会太长或太复杂。


0

只需使用 numpy ...

首先合并两个输入数组,一维数组是labels(y),二维数组是data(x),然后用NumPy shuffle方法将它们洗牌。最后将它们拆分并返回。

import numpy as np

def shuffle_2d(a, b):
    rows= a.shape[0]
    if b.shape != (rows,1):
        b = b.reshape((rows,1))
    S = np.hstack((b,a))
    np.random.shuffle(S)
    b, a  = S[:,0], S[:,1:]
    return a,b

features, samples = 2, 5
x, y = np.random.random((samples, features)), np.arange(samples)
x, y = shuffle_2d(train, test)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.