如何在Pandas中找到数字列?


121

假设df是一个熊猫DataFrame。我想找到所有数字类型的列。就像是:

isNumeric = is_numeric(df)

您应指定一列已经是否dtypeobject,但所有的元素是数字,数数字或没有。如果不是,请接受Hanan的回答,因为它也更快。否则,带我的。
FooBar 2014年

如果仅尝试df.describe()。columns,会发生什么。然后将其分配给变量。
Coldy

Answers:


146

您可以使用select_dtypesDataFrame的方法。它包括两个参数include和exclude。所以isNumeric看起来像:

numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']

newdf = df.select_dtypes(include=numerics)

94
如果不需要指定“数字”列表,则可以使用df.select_dtypes(include = [np.number])
KieranPC 2015年

23
建立在上list(df.select_dtypes(include=[np.number]).columns.values) 一条注释(+1)的提示上,您可以使用它 来获取数字列的名称列表
user799188

76

您可以使用未记录的功能_get_numeric_data()来仅过滤数字列:

df._get_numeric_data()

例:

In [32]: data
Out[32]:
   A  B
0  1  s
1  2  s
2  3  s
3  4  s

In [33]: data._get_numeric_data()
Out[33]:
   A
0  1
1  2
2  3
3  4

注意,这是一个“私有方法”(即实现细节),将来可能会更改或完全删除。请谨慎使用


1
超级方便;在任何地方都有记录吗?担心它在将来的版本中消失和/或不稳定,因为它的前缀下划线表示它是私有的。
ijoseph '18 -4-10

3
不,这在任何地方都没有记录。但是,实现在这里,就像@ijoseph提到的那样,我会警惕使用以下划线开头的方法,因为它们只不过是实现细节。除此以外,还可以使用其他任何答案。
cs95,19年

究竟。作为最佳实践,我尝试使用并转换为尽可能多的numpy方法。这是由于大熊猫的活力。API经常更改。对于未记录的方法,不管它多么有用,它都是鲁re的。
mik

69

简单的单行答案即可创建仅包含数字列的新数据框:

df.select_dtypes(include=np.number)

如果需要数字列的名称:

df.select_dtypes(include=np.number).columns.tolist()

完整的代码:

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': range(7, 10),
                   'B': np.random.rand(3),
                   'C': ['foo','bar','baz'],
                   'D': ['who','what','when']})
df
#    A         B    C     D
# 0  7  0.704021  foo   who
# 1  8  0.264025  bar  what
# 2  9  0.230671  baz  when

df_numerics_only = df.select_dtypes(include=np.number)
df_numerics_only
#    A         B
# 0  7  0.704021
# 1  8  0.264025
# 2  9  0.230671

colnames_numerics_only = df.select_dtypes(include=np.number).columns.tolist()
colnames_numerics_only
# ['A', 'B']

2
df.select_dtypes(include=['int64']).columns.tolist()
樱桃吴

如果只需要一种类型,则无需将其存储在列表中。您也无需指定include=select_dtypes(np.number)
BallpointBenpoint,

如果您的列具有数字数据,但也具有“无”,则dtype可能是“对象”。这会将列强制转换为数字:df.fillna(value=0, inplace=True)
vaughnkoch

26
df.select_dtypes(exclude=['object'])

7
datetime列是一种不同的类型,datetime而不是数字类型
Jeru Luke


6

以下代码将返回数据集的数字列的名称列表。

cnames=list(marketing_train.select_dtypes(exclude=['object']).columns)

marketing_train是我的数据集,它select_dtypes()是使用exclude和include参数选择数据类型的功能,而column用于获取上述代码输出的数据集的列名,如下所示:

['custAge',
     'campaign',
     'pdays',
     'previous',
     'emp.var.rate',
     'cons.price.idx',
     'cons.conf.idx',
     'euribor3m',
     'nr.employed',
     'pmonths',
     'pastEmail']

谢谢


4

这是用于在熊猫数据框中查找数字列的另一种简单代码,

numeric_clmns = df.dtypes[df.dtypes != "object"].index 

1
def is_type(df, baseType):
    import numpy as np
    import pandas as pd
    test = [issubclass(np.dtype(d).type, baseType) for d in df.dtypes]
    return pd.DataFrame(data = test, index = df.columns, columns = ["test"])
def is_float(df):
    import numpy as np
    return is_type(df, np.float)
def is_number(df):
    import numpy as np
    return is_type(df, np.number)
def is_integer(df):
    import numpy as np
    return is_type(df, np.integer)

1

改编这个答案,你可以做

df.ix[:,df.applymap(np.isreal).all(axis=0)]

在这里,np.applymap(np.isreal)显示数据框中的每个单元格是否都是数字,并.axis(all=0)检查列中的所有值是否均为True,并返回一系列布尔值,这些布尔值可用于索引所需的列。


1

请看下面的代码:

if(dataset.select_dtypes(include=[np.number]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.number]).describe())
if(dataset.select_dtypes(include=[np.object]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.object]).describe())

这样,您可以检查值是否为数字,例如float和int或srting值。第二条if语句用于检查对象引用的字符串值。


1

我们可以根据以下要求包括和排除数据类型:

train.select_dtypes(include=None, exclude=None)
train.select_dtypes(include='number') #will include all the numeric types

从Jupyter Notebook引用。

要选择所有数字类型,请使用np.number'number'

  • 要选择字符串,您必须使用objectdtype,但是请注意,这将返回所有对象dtype列

  • NumPy dtype hierarchy <http://docs.scipy.org/doc/numpy/reference/arrays.scalars.html>__

  • 要选择日期时间,使用np.datetime64'datetime''datetime64'

  • 要选择timedeltas,使用np.timedelta64'timedelta''timedelta64'

  • 要选择Pandas类别dtype,请使用 'category'

  • 要选择Pandas datetimetz dtypes,请使用'datetimetz'(0.20.0中的新功能)或``'datetime64 [ns,tz]'

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.