我有一个DataFrame，在我希望分组的列中有许多缺失的值：

import pandas as pd
import numpy as np
df = pd.DataFrame({'a': ['1', '2', '3'], 'b': ['4', np.NaN, '6']})

In [4]: df.groupby('b').groups
Out[4]: {'4': [0], '6': [2]}

看到Pandas删除了具有NaN目标值的行。（我想包括这些行！）

由于我需要许多这样的操作（许多col具有缺失的值），并且使用的函数比中位数（通常是随机森林）更复杂，因此我想避免编写过于复杂的代码。

有什么建议？我应该为此编写一个函数还是有一个简单的解决方案？

这是在文档的丢失数据部分中提到：

GroupBy中的NA组被自动排除。例如，此行为与R一致。

一种解决方法是在进行分组方式之前使用占位符（例如-1）：

In [11]: df.fillna(-1)
Out[11]: 
   a   b
0  1   4
1  2  -1
2  3   6

In [12]: df.fillna(-1).groupby('b').sum()
Out[12]: 
    a
b    
-1  2
4   1
6   3

就是说，这感觉很糟糕……也许应该有一个选项可以在groupby中包含NaN（请参阅此github问题 -使用相同的占位符hack）。

古老的话题，如果有人仍然迷迷糊糊-另一个解决方法是在分组之前通过.astype（str）转换为字符串。这样可以节省NaN。

in:

df = pd.DataFrame({'a': ['1', '2', '3'], 'b': ['4', np.NaN, '6']})
df['b'] = df['b'].astype(str)
df.groupby(['b']).sum()

out:
    a
b   
4   1
6   3
nan 2

大熊猫> = 1.1

从pandas 1.1开始，您将可以更好地控制此行为，现在可以使用dropna=False以下方法在石斑鱼中使用NA值：

pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'

# Example from the docs
df

   a    b  c
0  1  2.0  3
1  1  NaN  4
2  2  1.0  3
3  1  2.0  2

# without NA (the default)
df.groupby('b').sum()

     a  c
b        
1.0  2  3
2.0  2  5

# with NA
df.groupby('b', dropna=False).sum()

     a  c
b        
1.0  2  3
2.0  2  5
NaN  1  4

您可以使用以下命令安装v1.1的预发行版本：

pip install https://github.com/pandas-dev/pandas/releases/download/v1.1.0rc0/pandas-1.1.0rc0.tar.gz

我无法为M. Kiewisch添加评论，因为我的声誉得分不足（只有41个，但是需要50个以上才能发表评论）。

无论如何，只想指出M. Kiewisch解决方案无法按原样工作，可能需要进行更多调整。考虑一下

>>> df = pd.DataFrame({'a': [1, 2, 3, 5], 'b': [4, np.NaN, 6, 4]})
>>> df
   a    b
0  1  4.0
1  2  NaN
2  3  6.0
3  5  4.0
>>> df.groupby(['b']).sum()
     a
b
4.0  6
6.0  3
>>> df.astype(str).groupby(['b']).sum()
      a
b
4.0  15
6.0   3
nan   2

这表明对于组b = 4.0，对应的值是15而不是6。这里只是将1和5连接为字符串，而不是将它们加为数字。

安迪·海登（Andy Hayden）解决方案的一个小问题–由于np.nan == np.nanyields False，它不起作用了（不再吗？），因此该replace函数实际上没有任何作用。

对我有用的是：

df['b'] = df['b'].apply(lambda x: x if not np.isnan(x) else -1)

（至少这是Pandas 0.19.2的行为。很抱歉将其添加为其他答案，我没有足够的声誉来发表评论。）

到目前为止提供的所有答案都可能导致潜在的危险行为，因为您很可能选择了实际上是数据集一部分的虚拟值。当您创建具有许多属性的组时，这种可能性越来越大。简而言之，这种方法并不总是能很好地概括。

不太麻烦的解决方法是使用pd.drop_duplicates（）创建值组合的唯一索引，每个值组合都有自己的ID，然后对该ID进行分组。它比较冗长，但确实可以完成工作：

def safe_groupby(df, group_cols, agg_dict):
    # set name of group col to unique value
    group_id = 'group_id'
    while group_id in df.columns:
        group_id += 'x'
    # get final order of columns
    agg_col_order = (group_cols + list(agg_dict.keys()))
    # create unique index of grouped values
    group_idx = df[group_cols].drop_duplicates()
    group_idx[group_id] = np.arange(group_idx.shape[0])
    # merge unique index on dataframe
    df = df.merge(group_idx, on=group_cols)
    # group dataframe on group id and aggregate values
    df_agg = df.groupby(group_id, as_index=True)\
               .agg(agg_dict)
    # merge grouped value index to results of aggregation
    df_agg = group_idx.set_index(group_id).join(df_agg)
    # rename index
    df_agg.index.name = None
    # return reordered columns
    return df_agg[agg_col_order]

请注意，您现在可以简单地执行以下操作：

data_block = [np.tile([None, 'A'], 3),
              np.repeat(['B', 'C'], 3),
              [1] * (2 * 3)]

col_names = ['col_a', 'col_b', 'value']

test_df = pd.DataFrame(data_block, index=col_names).T

grouped_df = safe_groupby(test_df, ['col_a', 'col_b'],
                          OrderedDict([('value', 'sum')]))

这将返回成功的结果，而不必担心会覆盖被误认为是虚拟值的真实数据。

我已经回答了这个问题，但是由于某种原因，答案已转换为评论。但是，这是最有效的解决方案：

无法在群组中包含（和传播）NaN的情况更加严重。引用R不能令人信服，因为此行为与许多其他情况不一致。无论如何，虚拟黑客也很糟糕。但是，如果存在NaN，则组的大小（包括NaN）和计数（忽略NaN）将有所不同。

dfgrouped = df.groupby(['b']).a.agg(['sum','size','count'])

dfgrouped['sum'][dfgrouped['size']!=dfgrouped['count']] = None

如果它们不同，则可以将该组的聚合函数的结果的值设置回None。

在Anaconda中安装了Pandas 1.1

我无法评论cs95的答案，但他帮助我解决了该问题。

我尝试安装Pandas 1.1，但使用他的代码失败，因此我用google搜索并能够安装。

我首先以管理员身份运行anaconda提示符，然后粘贴以下代码：

pip install pandas==1.1.0rc0

之后包括使用 dropna = False

链接：https：//libraries.io/pypi/pandas