熊猫根据其他列的值创建新列/逐行应用多列的功能

316

我想申请我的自定义函数（它使用的if-else梯）这六个列（ERI_Hispanic，ERI_AmerInd_AKNatv，ERI_Asian，ERI_Black_Afr.Amer，ERI_HI_PacIsl，ERI_White我的数据帧的每一行中）。

我尝试了与其他问题不同的方法，但似乎仍然找不到适合我问题的正确答案。关键在于，如果该人被视为西班牙裔，就不能被视为其他任何人。即使他们在另一个种族栏中的得分为“ 1”，他们仍然被视为西班牙裔，而不是两个或两个以上的种族。同样，如果所有ERI列的总和大于1，则将它们计为两个或多个种族，并且不能计为唯一的种族（西班牙裔除外）。希望这是有道理的。任何帮助将不胜感激。

这几乎就像在每行中进行一个for循环一样，如果每条记录都符合条件，则将它们添加到一个列表中并从原始列表中删除。

从下面的数据框中，我需要根据以下SQL规范来计算新列：

===================================================== =======

IF [ERI_Hispanic] = 1 THEN RETURN “Hispanic”
ELSE IF SUM([ERI_AmerInd_AKNatv] + [ERI_Asian] + [ERI_Black_Afr.Amer] + [ERI_HI_PacIsl] + [ERI_White]) > 1 THEN RETURN “Two or More”
ELSE IF [ERI_AmerInd_AKNatv] = 1 THEN RETURN “A/I AK Native”
ELSE IF [ERI_Asian] = 1 THEN RETURN “Asian”
ELSE IF [ERI_Black_Afr.Amer] = 1 THEN RETURN “Black/AA”
ELSE IF [ERI_HI_PacIsl] = 1 THEN RETURN “Haw/Pac Isl.”
ELSE IF [ERI_White] = 1 THEN RETURN “White”

评论：如果西班牙裔ERI标志为True（1），则该雇员被分类为“西班牙裔”

注释：如果多个非西班牙裔ERI标志为真，则返回“两个或更多”

======================数据帧===========================

     lname          fname       rno_cd  eri_afr_amer    eri_asian   eri_hawaiian    eri_hispanic    eri_nat_amer    eri_white   rno_defined
0    MOST           JEFF        E       0               0           0               0               0               1           White
1    CRUISE         TOM         E       0               0           0               1               0               0           White
2    DEPP           JOHNNY              0               0           0               0               0               1           Unknown
3    DICAP          LEO                 0               0           0               0               0               1           Unknown
4    BRANDO         MARLON      E       0               0           0               0               0               0           White
5    HANKS          TOM         0                       0           0               0               0               1           Unknown
6    DENIRO         ROBERT      E       0               1           0               0               0               1           White
7    PACINO         AL          E       0               0           0               0               0               1           White
8    WILLIAMS       ROBIN       E       0               0           1               0               0               0           White
9    EASTWOOD       CLINT       E       0               0           0               0               0               1           White

— 戴夫
source

您的特定函数只是一个漫长的if-else阶梯，其中某些变量的值优先于其他变量。在硬件工程术语中，它将被称为优先级解码器。

— smci

407

好的，执行此步骤有两个步骤-首先是编写一个可以执行所需翻译的函数-我已根据您的伪代码将一个示例放在一起：

def label_race (row):
   if row['eri_hispanic'] == 1 :
      return 'Hispanic'
   if row['eri_afr_amer'] + row['eri_asian'] + row['eri_hawaiian'] + row['eri_nat_amer'] + row['eri_white'] > 1 :
      return 'Two Or More'
   if row['eri_nat_amer'] == 1 :
      return 'A/I AK Native'
   if row['eri_asian'] == 1:
      return 'Asian'
   if row['eri_afr_amer']  == 1:
      return 'Black/AA'
   if row['eri_hawaiian'] == 1:
      return 'Haw/Pac Isl.'
   if row['eri_white'] == 1:
      return 'White'
   return 'Other'

您可能想要解决这个问题，但这似乎可以解决问题-请注意，进入函数的参数被视为标记为“行”的Series对象。

接下来，在熊猫中使用apply函数来应用该函数-例如

df.apply (lambda row: label_race(row), axis=1)

请注意axis = 1说明符，这意味着应用程序是在行而不是列级别完成的。结果在这里：

0           White
1        Hispanic
2           White
3           White
4           Other
5           White
6     Two Or More
7           White
8    Haw/Pac Isl.
9           White

如果您对这些结果感到满意，请再次运行它，将结果保存到原始数据框中的新列中。

df['race_label'] = df.apply (lambda row: label_race(row), axis=1)

结果数据框如下所示（向右滚动以查看新列）：

      lname   fname rno_cd  eri_afr_amer  eri_asian  eri_hawaiian   eri_hispanic  eri_nat_amer  eri_white rno_defined    race_label
0      MOST    JEFF      E             0          0             0              0             0          1       White         White
1    CRUISE     TOM      E             0          0             0              1             0          0       White      Hispanic
2      DEPP  JOHNNY    NaN             0          0             0              0             0          1     Unknown         White
3     DICAP     LEO    NaN             0          0             0              0             0          1     Unknown         White
4    BRANDO  MARLON      E             0          0             0              0             0          0       White         Other
5     HANKS     TOM    NaN             0          0             0              0             0          1     Unknown         White
6    DENIRO  ROBERT      E             0          1             0              0             0          1       White   Two Or More
7    PACINO      AL      E             0          0             0              0             0          1       White         White
8  WILLIAMS   ROBIN      E             0          0             1              0             0          0       White  Haw/Pac Isl.
9  EASTWOOD   CLINT      E             0          0             0              0             0          1       White         White

— 托马斯·金伯
source

69

只是一个注释：如果只将行填充到函数中，则可以执行以下操作：df.apply(label_race, axis=1)

— Paul H

1

如果我想对另一行做类似的事情，可以使用相同的功能吗？例如，从结果中，如果['race_label'] ==“ White”返回'White'，依此类推。但是，如果['race_label'] =='未知'，则从['rno_defined']列返回值。我假设相同的功能将起作用，但我似乎无法弄清楚如何从另一列获取值。

— 戴夫

2

你可以在“race_label”字段写一个新的功能，看起来，并将结果发送到一个新的领域，或者-我认为这可能是更好的在这种情况下，编辑原有的功能，改变了最终return 'Other'行return row['rno_defined']即应在if / then语句集不匹配的情况下（例如，在当前位置看到“ Other”）替换该列中的值。

— Thomas Kimber 2014年

9

您可以简化：df.apply(lambda row: label_race (row),axis=1)到df.apply(label_race, axis=1)

— user48956'1

5

在较新的版本中，如果得到“ SettingWithCopyWarning”，则应查看“ assign”方法。请参阅：stackoverflow.com/a/12555510/3015186

— np8

218

由于这是Google针对“来自其他人的熊猫专栏”的第一个结果，因此下面是一个简单的示例：

import pandas as pd

# make a simple dataframe
df = pd.DataFrame({'a':[1,2], 'b':[3,4]})
df
#    a  b
# 0  1  3
# 1  2  4

# create an unattached column with an index
df.apply(lambda row: row.a + row.b, axis=1)
# 0    4
# 1    6

# do same but attach it to the dataframe
df['c'] = df.apply(lambda row: row.a + row.b, axis=1)
df
#    a  b  c
# 0  1  3  4
# 1  2  4  6

如果得到了，SettingWithCopyWarning您也可以通过以下方式进行操作：

fn = lambda row: row.a + row.b # define a function for the new column
col = df.apply(fn, axis=1) # get column data with an index
df = df.assign(c=col.values) # assign values to column 'c'

资料来源：https : //stackoverflow.com/a/12555510/243392

如果列名包含空格，则可以使用如下语法：

df = df.assign(**{'some column name': col.values})

这是apply和Assign的文档。

— 布莱恩·伯恩斯
source

1

简短的回答，精简到必不可少！

— Frode Akselsen

1

我正在SettingWithCopyWarning做的事情df['c'] = df.apply(lambda row: row.a + row.b, axis=1) 在这里吗？还是我不应该担心它？

— Nate

2

@Nate我从来没有得到过警告-也许这取决于数据框中的数据？但我根据2017

— Brian Burns

56

上面的答案是完全正确的，但是存在矢量化的解决方案，形式为numpy.select。这使您可以定义条件，然后为这些条件定义输出，这比使用apply以下命令更有效：

首先，定义条件：

conditions = [
    df['eri_hispanic'] == 1,
    df[['eri_afr_amer', 'eri_asian', 'eri_hawaiian', 'eri_nat_amer', 'eri_white']].sum(1).gt(1),
    df['eri_nat_amer'] == 1,
    df['eri_asian'] == 1,
    df['eri_afr_amer'] == 1,
    df['eri_hawaiian'] == 1,
    df['eri_white'] == 1,
]

现在，定义相应的输出：

outputs = [
    'Hispanic', 'Two Or More', 'A/I AK Native', 'Asian', 'Black/AA', 'Haw/Pac Isl.', 'White'
]

最后，使用numpy.select：

res = np.select(conditions, outputs, 'Other')
pd.Series(res)

0           White
1        Hispanic
2           White
3           White
4           Other
5           White
6     Two Or More
7           White
8    Haw/Pac Isl.
9           White
dtype: object

为什么要numpy.select用完apply？以下是一些性能检查：

df = pd.concat([df]*1000)

In [42]: %timeit df.apply(lambda row: label_race(row), axis=1)
1.07 s ± 4.16 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [44]: %%timeit
    ...: conditions = [
    ...:     df['eri_hispanic'] == 1,
    ...:     df[['eri_afr_amer', 'eri_asian', 'eri_hawaiian', 'eri_nat_amer', 'eri_white']].sum(1).gt(1),
    ...:     df['eri_nat_amer'] == 1,
    ...:     df['eri_asian'] == 1,
    ...:     df['eri_afr_amer'] == 1,
    ...:     df['eri_hawaiian'] == 1,
    ...:     df['eri_white'] == 1,
    ...: ]
    ...:
    ...: outputs = [
    ...:     'Hispanic', 'Two Or More', 'A/I AK Native', 'Asian', 'Black/AA', 'Haw/Pac Isl.', 'White'
    ...: ]
    ...:
    ...: np.select(conditions, outputs, 'Other')
    ...:
    ...:
3.09 ms ± 17 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

使用numpy.select给了我们极大地提高了性能，并且随着数据增长的差异只会增加。

— 用户名
source

7

这个解决方案被低估了。我知道我可以对apply进行类似的操作，但是正在寻找替代方法，因为我必须对数千个文件执行该操作。很高兴我找到了您的帖子。

— mlx

我在创建类似内容时遇到了麻烦。我收到“系列的真值不明确...”错误消息。我的代码是Kansas_City = ['ND'，'SD'，'NE'，'KS'，'MN'，'IA'，'MO']条件= [在Kansas_City]输出中的[df_merge ['state_alpha']] = ['堪萨斯城'] df_merge ['地区'] = np.select（条件，输出，“其他”）有什么帮助吗？

— Shawn Schreier

2

这应该是公认的答案。另一个很好，但是一旦您要处理更大的数据，这是唯一一个可行的方法，并且它的运行速度惊人地快。

— 无产阶级

29

.apply()以函数作为第一个参数；这样传递label_race函数：

df['race_label'] = df.apply(label_race, axis=1)

您无需使一个lambda函数即可传递函数。

— 加布里埃尔·西蒙德·摩尔
source

12

尝试这个，

df.loc[df['eri_white']==1,'race_label'] = 'White'
df.loc[df['eri_hawaiian']==1,'race_label'] = 'Haw/Pac Isl.'
df.loc[df['eri_afr_amer']==1,'race_label'] = 'Black/AA'
df.loc[df['eri_asian']==1,'race_label'] = 'Asian'
df.loc[df['eri_nat_amer']==1,'race_label'] = 'A/I AK Native'
df.loc[(df['eri_afr_amer'] + df['eri_asian'] + df['eri_hawaiian'] + df['eri_nat_amer'] + df['eri_white']) > 1,'race_label'] = 'Two Or More'
df.loc[df['eri_hispanic']==1,'race_label'] = 'Hispanic'
df['race_label'].fillna('Other', inplace=True)

O / P：

     lname   fname rno_cd  eri_afr_amer  eri_asian  eri_hawaiian  \
0      MOST    JEFF      E             0          0             0   
1    CRUISE     TOM      E             0          0             0   
2      DEPP  JOHNNY    NaN             0          0             0   
3     DICAP     LEO    NaN             0          0             0   
4    BRANDO  MARLON      E             0          0             0   
5     HANKS     TOM    NaN             0          0             0   
6    DENIRO  ROBERT      E             0          1             0   
7    PACINO      AL      E             0          0             0   
8  WILLIAMS   ROBIN      E             0          0             1   
9  EASTWOOD   CLINT      E             0          0             0   

   eri_hispanic  eri_nat_amer  eri_white rno_defined    race_label  
0             0             0          1       White         White  
1             1             0          0       White      Hispanic  
2             0             0          1     Unknown         White  
3             0             0          1     Unknown         White  
4             0             0          0       White         Other  
5             0             0          1     Unknown         White  
6             0             0          1       White   Two Or More  
7             0             0          1       White         White  
8             0             0          0       White  Haw/Pac Isl.  
9             0             0          1       White         White

使用.loc代替apply。

它改善了向量化。

.loc 以简单的方式工作，根据条件屏蔽行，将值应用于冻结行。

有关更多详细信息，请访问.loc docs

性能指标：

接受的答案：

def label_race (row):
   if row['eri_hispanic'] == 1 :
      return 'Hispanic'
   if row['eri_afr_amer'] + row['eri_asian'] + row['eri_hawaiian'] + row['eri_nat_amer'] + row['eri_white'] > 1 :
      return 'Two Or More'
   if row['eri_nat_amer'] == 1 :
      return 'A/I AK Native'
   if row['eri_asian'] == 1:
      return 'Asian'
   if row['eri_afr_amer']  == 1:
      return 'Black/AA'
   if row['eri_hawaiian'] == 1:
      return 'Haw/Pac Isl.'
   if row['eri_white'] == 1:
      return 'White'
   return 'Other'

df=pd.read_csv('dataser.csv')
df = pd.concat([df]*1000)

%timeit df.apply(lambda row: label_race(row), axis=1)

每个循环1.15 s±46.5 ms（平均±标准偏差，共7次运行，每个循环1次）

我的建议答案：

def label_race(df):
    df.loc[df['eri_white']==1,'race_label'] = 'White'
    df.loc[df['eri_hawaiian']==1,'race_label'] = 'Haw/Pac Isl.'
    df.loc[df['eri_afr_amer']==1,'race_label'] = 'Black/AA'
    df.loc[df['eri_asian']==1,'race_label'] = 'Asian'
    df.loc[df['eri_nat_amer']==1,'race_label'] = 'A/I AK Native'
    df.loc[(df['eri_afr_amer'] + df['eri_asian'] + df['eri_hawaiian'] + df['eri_nat_amer'] + df['eri_white']) > 1,'race_label'] = 'Two Or More'
    df.loc[df['eri_hispanic']==1,'race_label'] = 'Hispanic'
    df['race_label'].fillna('Other', inplace=True)
df=pd.read_csv('s22.csv')
df = pd.concat([df]*1000)

%timeit label_race(df)

每个循环24.7 ms±1.7 ms（平均±标准偏差，运行7次，每个循环10个）

— 穆罕默德（Mehamed Thasin）啊
source