如何在熊猫数据框的列中将所有NaN值替换为零

我有一个数据框如下

      itm Date                  Amount 
67    420 2012-09-30 00:00:00   65211
68    421 2012-09-09 00:00:00   29424
69    421 2012-09-16 00:00:00   29877
70    421 2012-09-23 00:00:00   30990
71    421 2012-09-30 00:00:00   61303
72    485 2012-09-09 00:00:00   71781
73    485 2012-09-16 00:00:00     NaN
74    485 2012-09-23 00:00:00   11072
75    485 2012-09-30 00:00:00  113702
76    489 2012-09-09 00:00:00   64731
77    489 2012-09-16 00:00:00     NaN

当我尝试将一个函数应用于“金额”列时，出现以下错误。

ValueError: cannot convert float NaN to integer

我已经尝试过使用数学模块中的.isnan来应用函数。我已经尝试过pandas .replace属性。我已经尝试过pandas 0.9的.sparse data属性。我还尝试过如果函数中的NaN == NaN语句。我还看了这篇文章如何在R数据帧中用零替换NA值？同时查看其他文章。我尝试过的所有方法均无效或无法识别NaN。任何提示或解决方案将不胜感激。

我相信DataFrame.fillna()会为您做到这一点。

链接到文档以获取数据框和系列。

例：

In [7]: df
Out[7]: 
          0         1
0       NaN       NaN
1 -0.494375  0.570994
2       NaN       NaN
3  1.876360 -0.229738
4       NaN       NaN

In [8]: df.fillna(0)
Out[8]: 
          0         1
0  0.000000  0.000000
1 -0.494375  0.570994
2  0.000000  0.000000
3  1.876360 -0.229738
4  0.000000  0.000000

要仅将NaN填入一列，请仅选择该列。在这种情况下，我使用inplace = True实际更改df的内容。

In [12]: df[1].fillna(0, inplace=True)
Out[12]: 
0    0.000000
1    0.570994
2    0.000000
3   -0.229738
4    0.000000
Name: 1

In [13]: df
Out[13]: 
          0         1
0       NaN  0.000000
1 -0.494375  0.570994
2       NaN  0.000000
3  1.876360 -0.229738
4       NaN  0.000000

编辑：

为避免出现SettingWithCopyWarning，请使用内置的列专用功能：

df.fillna({1:0}, inplace=True)

不能保证切片会返回视图或副本。你可以做

df['column'] = df['column'].fillna(value)

您可以使用replace更改NaN为0：

import pandas as pd
import numpy as np

# for column
df['column'] = df['column'].replace(np.nan, 0)

# for whole dataframe
df = df.replace(np.nan, 0)

# inplace
df.replace(np.nan, 0, inplace=True)

我只是想提供一些更新/特殊情况，因为看起来人们仍然来这里。如果您使用的是多索引或以其他方式使用索引切片器，则inplace = True选项可能不足以更新您选择的切片。例如，在2x2级多索引中，这不会更改任何值（从熊猫0.15开始）：

idx = pd.IndexSlice
df.loc[idx[:,mask_1],idx[mask_2,:]].fillna(value=0,inplace=True)

“问题”是链接中断了fillna更新原始数据帧的能力。我将“问题”用引号引起来，因为设计决策有充分的理由导致在某些情况下无法通过这些链条进行解释。同样，这是一个复杂的示例（尽管我确实遇到过），但是根据切片的方式，同样的情况可能适用于较少级别的索引。

解决方案是DataFrame.update：

df.update(df.loc[idx[:,mask_1],idx[[mask_2],:]].fillna(value=0))

这是一行，读起来相当好（某种），并消除了中间变量或循环的不必要混乱，同时允许您将fillna应用于所需的任何多层次切片！

如果有人可以找到行不通的地方，请在评论中发帖，我一直在弄乱它并查看源代码，它似乎至少解决了我的多索引切片问题。

下面的代码为我工作。

import pandas

df = pandas.read_csv('somefile.txt')

df = df.fillna(0)

填充缺失值的简单方法：

填充 字符串列：当字符串列具有缺失值和NaN值时。

df['string column name'].fillna(df['string column name'].mode().values[0], inplace = True)

填充 数字列：当数字列缺少值和NaN值时。

df['numeric column name'].fillna(df['numeric column name'].mean(), inplace = True)

用零填充NaN：

df['column name'].fillna(0, inplace = True)

您还可以使用字典来填充DataFrame中特定列的NaN值，而不是使用某个oneValue来填充所有DF。

import pandas as pd

df = pd.read_excel('example.xlsx')
df.fillna( {
        'column1': 'Write your values here',
        'column2': 'Write your values here',
        'column3': 'Write your values here',
        'column4': 'Write your values here',
        .
        .
        .
        'column-n': 'Write your values here'} , inplace=True)

考虑到Amount上表中的特定列是整数类型。以下是一个解决方案：

df['Amount'] = df.Amount.fillna(0).astype(int)

同样，你可以用不同的数据类型，如填充它float，str等等。

特别是，我会考虑使用数据类型来比较同一列的各种值。

替换熊猫中的na值

df['column_name'].fillna(value_to_be_replaced,inplace=True)

如果为inplace = False，则不更新df（数据帧），而是返回修改后的值。

如果要将其转换为pandas数据框，也可以使用来完成此操作fillna。

import numpy as np
df=np.array([[1,2,3, np.nan]])

import pandas as pd
df=pd.DataFrame(df)
df.fillna(0)

这将返回以下内容：

     0    1    2   3
0  1.0  2.0  3.0 NaN
>>> df.fillna(0)
     0    1    2    3
0  1.0  2.0  3.0  0.0

主要有两个选项：插补或填充缺失值的情况下NaN / np.nan，仅数字替换（跨列：

df['Amount'].fillna(value=None, method= ,axis=1,) 足够了：

从文档中：

value：标量，dict，Series或DataFrame用于填充孔的值（例如0），或者是dict / Series / DataFrame的值，这些值指定每个索引（对于Series）或列（对于DataFrame）使用哪个值。（不在dict / Series / DataFrame中的值将不被填充）。该值不能是列表。

这意味着不再允许对“字符串”或“常量”进行插补。

对于更专业的插补，请使用SimpleImputer（）：

from sklearn.impute import SimpleImputer
si = SimpleImputer(strategy='constant', missing_values=np.nan, fill_value='Replacement_Value')
df[['Col-1', 'Col-2']] = si.fit_transform(X=df[['C-1', 'C-2']])

用不同的方式替换不同列中的nan：

   replacement= {'column_A': 0, 'column_B': -999, 'column_C': -99999}
   df.fillna(value=replacement)