Answers:
jwilner的反应是现场的。我一直在探索是否有更快的选择,因为根据我的经验,求平面数组的总和(奇怪)比计数快。这段代码看起来更快:
df.isnull().values.any()
例如:
In [2]: df = pd.DataFrame(np.random.randn(1000,1000))
In [3]: df[df > 0.9] = pd.np.nan
In [4]: %timeit df.isnull().any().any()
100 loops, best of 3: 14.7 ms per loop
In [5]: %timeit df.isnull().values.sum()
100 loops, best of 3: 2.15 ms per loop
In [6]: %timeit df.isnull().sum().sum()
100 loops, best of 3: 18 ms per loop
In [7]: %timeit df.isnull().values.any()
1000 loops, best of 3: 948 µs per loop
df.isnull().sum().sum()
速度稍慢,但当然还有其他信息-的数量NaNs
。
pandas
它没有内置功能。@JGreenwell的帖子确实df.describe()
可以做到这一点,但没有直接功能。
df.describe()
(找不到NaN
)。对于1000 x 1000的阵列,单个呼叫需要1.15秒。
df.isnull().values.sum()
比df.isnull().values.flatten().sum()
.flatten()
发帖者。谢谢。
df.isnull().values.any()
,对我而言,它比其他人更快。
您有两种选择。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10,6))
# Make a few areas have NaN values
df.iloc[1:3,1] = np.nan
df.iloc[5,3] = np.nan
df.iloc[7:9,5] = np.nan
现在数据框看起来像这样:
0 1 2 3 4 5
0 0.520113 0.884000 1.260966 -0.236597 0.312972 -0.196281
1 -0.837552 NaN 0.143017 0.862355 0.346550 0.842952
2 -0.452595 NaN -0.420790 0.456215 1.203459 0.527425
3 0.317503 -0.917042 1.780938 -1.584102 0.432745 0.389797
4 -0.722852 1.704820 -0.113821 -1.466458 0.083002 0.011722
5 -0.622851 -0.251935 -1.498837 NaN 1.098323 0.273814
6 0.329585 0.075312 -0.690209 -3.807924 0.489317 -0.841368
7 -1.123433 -1.187496 1.868894 -2.046456 -0.949718 NaN
8 1.133880 -0.110447 0.050385 -1.158387 0.188222 NaN
9 -0.513741 1.196259 0.704537 0.982395 -0.585040 -1.693810
df.isnull().any().any()
-返回布尔值您知道isnull()
哪个会返回这样的数据帧:
0 1 2 3 4 5
0 False False False False False False
1 False True False False False False
2 False True False False False False
3 False False False False False False
4 False False False False False False
5 False False False True False False
6 False False False False False False
7 False False False False False True
8 False False False False False True
9 False False False False False False
如果您这样做df.isnull().any()
,则只能找到具有NaN
值的列:
0 False
1 True
2 False
3 True
4 False
5 True
dtype: bool
还有一个.any()
会告诉你,如果上述任何有True
> df.isnull().any().any()
True
df.isnull().sum().sum()
-返回NaN
值总数的整数:这与操作相同.any().any()
,首先对NaN
列中的值数量求和,然后对这些值求和:
df.isnull().sum()
0 0
1 2
2 0
3 1
4 0
5 2
dtype: int64
最后,要获取DataFrame中NaN值的总数:
df.isnull().sum().sum()
5
.any(axis=None)
代替.any().any()
?
要找出特定列中具有NaN的行:
nan_rows = df[df['name column'].isnull()]
non_nan_rows = df[df['name column'].notnull()]
。
df.isna().any(axis=None)
从v0.23.2开始,可以使用DataFrame.isna
+ DataFrame.any(axis=None)
其中axis=None
指定整个DataFrame的逻辑归约。
# Setup
df = pd.DataFrame({'A': [1, 2, np.nan], 'B' : [np.nan, 4, 5]})
df
A B
0 1.0 NaN
1 2.0 4.0
2 NaN 5.0
df.isna()
A B
0 False True
1 False False
2 True False
df.isna().any(axis=None)
# True
numpy.isnan
如果您正在运行旧版本的熊猫,则是另一个性能选择。
np.isnan(df.values)
array([[False, True],
[False, False],
[ True, False]])
np.isnan(df.values).any()
# True
或者,检查总和:
np.isnan(df.values).sum()
# 2
np.isnan(df.values).sum() > 0
# True
Series.hasnans
您也可以迭代调用Series.hasnans
。例如,要检查单个列是否具有NaN,
df['A'].hasnans
# True
并检查任何列有NaN的,你可以使用与理解any
(这是一个短路操作)。
any(df[c].hasnans for c in df)
# True
这实际上非常快。
设df
Pandas DataFrame的名称,以及任何numpy.nan
为空值的值。
df.isnull().any()
df.loc[:, df.isnull().any()].columns
df.isna().sum()
如果要查看每列中空值的百分比
df.isna().sum()/(len(df))*100
df.loc[:,list(df.loc[:,df.isnull().any()].columns)].isnull().sum()/(len(df))*100
编辑1:
如果要直观地查看数据丢失的位置:
import missingno
missingdata_df = df.columns[df.isnull().any()].tolist()
missingno.matrix(df[missingdata_df])
df.isna().sum()
呢?
仅使用 math.isnan(x),如果x是一个NaN(不是数字),则返回True,否则返回False。
math.isnan(x)
什么时候x
是DataFrame是行得通的。您会收到TypeError。
df.isnull().sum()
这将为您提供DataFrame各个列中存在的所有NaN值的计数。
这是找到空值并替换为计算值的另一种有趣方式
#Creating the DataFrame
testdf = pd.DataFrame({'Tenure':[1,2,3,4,5],'Monthly':[10,20,30,40,50],'Yearly':[10,40,np.nan,np.nan,250]})
>>> testdf2
Monthly Tenure Yearly
0 10 1 10.0
1 20 2 40.0
2 30 3 NaN
3 40 4 NaN
4 50 5 250.0
#Identifying the rows with empty columns
nan_rows = testdf2[testdf2['Yearly'].isnull()]
>>> nan_rows
Monthly Tenure Yearly
2 30 3 NaN
3 40 4 NaN
#Getting the rows# into a list
>>> index = list(nan_rows.index)
>>> index
[2, 3]
# Replacing null values with calculated value
>>> for i in index:
testdf2['Yearly'][i] = testdf2['Monthly'][i] * testdf2['Tenure'][i]
>>> testdf2
Monthly Tenure Yearly
0 10 1 10.0
1 20 2 40.0
2 30 3 90.0
3 40 4 160.0
4 50 5 250.0