将索引数组转换为1-hot编码的numpy数组


Answers:


395

您的数组a定义了输出数组中非零元素的列。您还需要定义行,然后使用花式索引:

>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

111
美丽。概括一下: b = np.zeros((a.size, a.max()+1)),然后`b [np.arange(a.size),a] = 1`
James Atwood

10
@JamesAtwood取决于应用程序,但我会将max作为参数,而不是根据数据计算得出。
Mohammad Moghimi

1
@MohammadMoghimi当然,对我来说有意义。
詹姆斯·阿特伍德

7
如果“ a”是2d怎么办?而您想要一个3维一热矩阵?
公元

8
谁能指出为什么这样有效,但带有[:,a]的切片却不起作用?
N. McA。

168
>>> values = [1, 0, 3]
>>> n_values = np.max(values) + 1
>>> np.eye(n_values)[values]
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

9
该解决方案是将输入ND矩阵输入到一热N + 1D矩阵的唯一有用方法。示例:input_matrix = np.asarray([[0,1,1],[1,1,2]]); np.eye(3)[input_matrix]#输出三维张量
伊萨亚斯

5
+1,因为相比于已接受的解决方案,它更可取。不过,对于更通用的解决方案,values应该是Numpy数组而不是Python列表,然后它才能在所有维度上起作用,而不仅限于一维。
亚历克斯(Alex)

8
请注意,np.max(values) + 1如果说您的数据集是随机抽样的,并且偶然地它可能不包含最大值,那么采用存储桶数可能不是理想的。桶数应该是一个参数,并且可以使用断言/检查来检查每个值是否在0(含)和桶计数(不含)之内。
NightElfik '18

2
对我来说,这种解决方案是最好的,可以轻松地推广到任何张量:def one_hot(x,depth = 10):返回np.eye(depth)[x]。请注意,将张量x作为索引将返回x.shape眼睛行的张量。
cecconeurale

4
一种简单的“理解”该解决方案的方法,以及为什么它适用于N-dims(无需阅读numpy文档):在原始矩阵(values)的每个位置,我们都有一个整数k,然后eye(n)[k]在该位置“放入” 1-hot向量。这增加了一个维度,因为我们在原始矩阵中的标量位置“放置”了矢量。
avivr

35

如果您使用的是keras,则有一个内置实用程序:

from keras.utils.np_utils import to_categorical   

categorical_labels = to_categorical(int_labels, num_classes=3)

它与@YXD的答案几乎相同(请参阅源代码)。


32

这是我发现有用的:

def one_hot(a, num_classes):
  return np.squeeze(np.eye(num_classes)[a.reshape(-1)])

num_classes代表您所拥有的课程数量。因此,如果您拥有a形状为(10000,)的向量,则此函数会将其转换为(10000,C)。请注意,a是零索引,即one_hot(np.array([0, 1]), 2)会给[[1, 0], [0, 1]]

正是您想要的,我相信。

PS:来源是序列模型-deeplearning.ai


另外,做np.squeeze()的原因是什么,因为使用np.eye(num_classes)[a.reshape(-1)]. What you are simply doing is using np.eye` 获得(向量a的大小)许多热编码数组,所以您正在创建一个对角矩阵,每个类索引为1,其余为零,然后使用提供的索引通过a.reshape(-1)产生与中的索引相对应的输出np.eye()。我不明白这样做的必要性,np.sqeeze因为我们使用它来简单地删除我们将永远不会拥有的单个维度,因为输出的维度将永远是(a_flattened_size, num_classes)
Anu

27

您可以使用 sklearn.preprocessing.LabelBinarizer

例:

import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))

输出:

[[0 1 0 0]
 [1 0 0 0]
 [0 0 0 1]]

除其他事项外,您可以初始化sklearn.preprocessing.LabelBinarizer()以便的输出transform稀疏。


21

您还可以使用numpy的eye函数:

numpy.eye(number of classes)[vector containing the labels]


1
为了更清晰,使用np.identity(num_classes)[indices]可能会更好。好答案!
奥利弗

5

这是将一维矢量转换为一维二维热阵列的函数。

#!/usr/bin/env python
import numpy as np

def convertToOneHot(vector, num_classes=None):
    """
    Converts an input 1-D vector of integers into an output
    2-D array of one-hot vectors, where an i'th input value
    of j will set a '1' in the i'th row, j'th column of the
    output array.

    Example:
        v = np.array((1, 0, 4))
        one_hot_v = convertToOneHot(v)
        print one_hot_v

        [[0 1 0 0 0]
         [1 0 0 0 0]
         [0 0 0 0 1]]
    """

    assert isinstance(vector, np.ndarray)
    assert len(vector) > 0

    if num_classes is None:
        num_classes = np.max(vector)+1
    else:
        assert num_classes > 0
        assert num_classes >= np.max(vector)

    result = np.zeros(shape=(len(vector), num_classes))
    result[np.arange(len(vector)), vector] = 1
    return result.astype(int)

以下是一些用法示例:

>>> a = np.array([1, 0, 3])

>>> convertToOneHot(a)
array([[0, 1, 0, 0],
       [1, 0, 0, 0],
       [0, 0, 0, 1]])

>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
       [1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
       [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])

请注意,这仅对矢量有效(并且无法assert检查矢量形状;))。
约翰多多

1
+1用于广义方法和参数检查。但是,作为一种惯例,我建议不要使用断言对输入执行检查。仅使用断言来验证内部中间条件。而是将全部转换assert ___if not ___ raise Exception(<Reason>)
fnunnari

3

对于1热编码

   one_hot_encode=pandas.get_dummies(array)

例如

享受编码


感谢您的评论,但是简短地描述代码的作用将非常有帮助!
Clarus

请参考示例
Shubham Mishra

@Clarus Checkout下面的示例。您可以通过执行one_hot_encode [value]访问np数组中每个值的一种热编码。 >>> import numpy as np >>> import pandas >>> a = np.array([1,0,3]) >>> one_hot_encode=pandas.get_dummies(a) >>> print(one_hot_encode) 0 1 3 0 0 1 0 1 1 0 0 2 0 0 1 >>> print(one_hot_encode[1]) 0 1 1 0 2 0 Name: 1, dtype: uint8 >>> print(one_hot_encode[0]) 0 0 1 1 2 0 Name: 0, dtype: uint8 >>> print(one_hot_encode[3]) 0 0 1 0 2 1 Name: 3, dtype: uint8
迪帕克

2

我认为简短的答案是“否”。对于更通用的n尺寸,我想到了:

# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1

我想知道是否有更好的解决方案-我不喜欢我必须在最后两行中创建这些列表。无论如何,我使用进行了一些测量,timeit看来numpy基于-(indices/ arange)和迭代版本的性能大致相同。


2

只是在阐述出色答卷K3 --- RNC,这里是一个更宽泛的版本:

def onehottify(x, n=None, dtype=float):
    """1-hot encode x with the max value n (computed from data if n is None)."""
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    return np.eye(n, dtype=dtype)[x]

此外,这里是这种方法的快速和肮脏的基准,并从一个方法目前公认的答案YXD(微变,让他们提供相同的API但后者只能与1D ndarrays):

def onehottify_only_1d(x, n=None, dtype=float):
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    b = np.zeros((len(x), n), dtype=dtype)
    b[np.arange(len(x)), x] = 1
    return b

后一种方法的速度提高了约35%(MacBook Pro 13 2015),但前一种方法更通用:

>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

2

您可以使用以下代码将其转换为单热向量:

令x为具有单个列的普通类向量,该类具有从0到某个数字的类:

import numpy as np
np.eye(x.max()+1)[x]

如果0不是一个类;然后删除+1。


1

我最近遇到了一个同类问题,发现上述解决方案只有在您的数字在一定范围内时才令人满意。例如,如果您要对以下列表进行一次热编码:

all_good_list = [0,1,2,3,4]

继续,上面已经提到过发布的解决方案。但是如果考虑这些数据怎么办:

problematic_list = [0,23,12,89,10]

如果使用上述方法进行操作,则可能会得到90个单柱色谱柱。这是因为所有答案都包含n = np.max(a)+1。我找到了一个更通用的解决方案,可以为我解决这个问题,并希望与您分享:

import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)

我希望有人在上述解决方案上遇到同样的限制,并且这可能派上用场


1

这种编码类型通常是numpy数组的一部分。如果您使用这样的numpy数组:

a = np.array([1,0,3])

那么有一种非常简单的方法可以将其转换为1-hot编码

out = (np.arange(4) == a[:,None]).astype(np.float32)

而已。


1
  • p将是一个二维数组。
  • 我们想知道哪个值是连续最高的,在那放置1,在其他任何地方放置0。

清洁简便的解决方案:

max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)


0

这是我根据上述答案和自己的用例编写的一个示例函数:

def label_vector_to_one_hot_vector(vector, one_hot_size=10):
    """
    Use to convert a column vector to a 'one-hot' matrix

    Example:
        vector: [[2], [0], [1]]
        one_hot_size: 3
        returns:
            [[ 0.,  0.,  1.],
             [ 1.,  0.,  0.],
             [ 0.,  1.,  0.]]

    Parameters:
        vector (np.array): of size (n, 1) to be converted
        one_hot_size (int) optional: size of 'one-hot' row vector

    Returns:
        np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
    """
    squeezed_vector = np.squeeze(vector, axis=-1)

    one_hot = np.zeros((squeezed_vector.size, one_hot_size))

    one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1

    return one_hot

label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)

0

为了添加完整的功能,我仅使用numpy运算符:

   def probs_to_onehot(output_probabilities):
        argmax_indices_array = np.argmax(output_probabilities, axis=1)
        onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
        return onehot_output_array

它以概率矩阵作为输入:例如:

[[0.03038822 0.65810204 0.16549407 0.3797123] ... [0.02771272 0.2760752 0.3280924 0.33458805]

它将返回

[[0 1 0 0] ... [0 0 0 1]]


0

这是一个与维数无关的独立解决方案。

这会将arr非负整数的任何N维数组转换为一维N + 1维数组one_hot,其中one_hot[i_1,...,i_N,c] = 1means arr[i_1,...,i_N] = c。您可以通过以下方式恢复输入np.argmax(one_hot, -1)

def expand_integer_grid(arr, n_classes):
    """

    :param arr: N dim array of size i_1, ..., i_N
    :param n_classes: C
    :returns: one-hot N+1 dim array of size i_1, ..., i_N, C
    :rtype: ndarray

    """
    one_hot = np.zeros(arr.shape + (n_classes,))
    axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
    flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
    one_hot[flat_grids + [arr.ravel()]] = 1
    assert((one_hot.sum(-1) == 1).all())
    assert(np.allclose(np.argmax(one_hot, -1), arr))
    return one_hot

0

使用以下代码。效果最好。

def one_hot_encode(x):
"""
    argument
        - x: a list of labels
    return
        - one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))

for idx, val in enumerate(x):
    encoded[idx][val] = 1

return encoded

在这里找到它 PS无需进入链接。


5
您应该避免使用循环与numpy的
凯南
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.