熊猫唯一值多列

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

返回“ Col1”和“ Col2”的唯一值的最佳方法是什么？

所需的输出是

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

pd.unique 从输入数组或DataFrame列或索引返回唯一值。

此函数的输入必须是一维的，因此将需要合并多列。最简单的方法是选择所需的列，然后在展平的NumPy数组中查看值。整个操作如下所示：

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

请注意，这ravel()是一个数组方法，它返回多维数组的视图（如果可能）。该参数'K'告诉方法按元素在内存中存储的顺序展平数组（熊猫通常以Fortran连续的顺序存储基础数组；列在行之前）。这可能比使用该方法的默认“ C”顺序快得多。

另一种方法是选择列并将其传递给np.unique：

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

ravel()此处不需要使用该方法，因为该方法可以处理多维数组。即使这样，它也可能比pd.unique使用基于排序的算法而不是哈希表来标识唯一值的方法要慢。

对于较大的DataFrame，速度上的差异非常大（尤其是在只有少数唯一值的情况下）：

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

我DataFrame在其列中设置了一些简单的字符串：

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

您可以连接感兴趣的列并调用unique函数：

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

要么：

set(df.Col1) | set(df.Col2)

如果使用多个列，则使用numpy v1.13 +更新的解决方案需要在np.unique中指定轴，否则该数组将隐式展平。

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

此更改于2016年11月引入：https : //github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

非pandas解决方案：使用set（）。

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

输出：

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

对于那些喜欢大熊猫的人来说，适用于它们，当然还有lambda函数：

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

这是另一种方式

import numpy as np
set(np.concatenate(df.values))

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

输出将是['Mary'，'Joe'，'Steve'，'Bob'，'Bill']