“ ValueError:无法从重复轴重新索引”是什么意思?


254

我在ValueError: cannot reindex from a duplicate axis尝试将索引设置为某个值时遇到错误。我试图用一个简单的例子重现它,但是我做不到。

这是我ipdb跟踪中的会话。我有一个带有字符串索引和整数列,浮点值的DataFrame。但是,当我尝试为sum所有列的总和创建索引时,ValueError: cannot reindex from a duplicate axis出现错误。我创建了一个具有相同特征的小型DataFrame,但无法重现该问题,我可能会丢失什么?

我不太明白这ValueError: cannot reindex from a duplicate axis是什么意思,此错误消息是什么意思?也许这可以帮助我诊断问题,这是我问题中最容易回答的部分。

ipdb> type(affinity_matrix)
<class 'pandas.core.frame.DataFrame'>
ipdb> affinity_matrix.shape
(333, 10)
ipdb> affinity_matrix.columns
Int64Index([9315684, 9315597, 9316591, 9320520, 9321163, 9320615, 9321187, 9319487, 9319467, 9320484], dtype='int64')
ipdb> affinity_matrix.index
Index([u'001', u'002', u'003', u'004', u'005', u'008', u'009', u'010', u'011', u'014', u'015', u'016', u'018', u'020', u'021', u'022', u'024', u'025', u'026', u'027', u'028', u'029', u'030', u'032', u'033', u'034', u'035', u'036', u'039', u'040', u'041', u'042', u'043', u'044', u'045', u'047', u'047', u'048', u'050', u'053', u'054', u'055', u'056', u'057', u'058', u'059', u'060', u'061', u'062', u'063', u'065', u'067', u'068', u'069', u'070', u'071', u'072', u'073', u'074', u'075', u'076', u'077', u'078', u'080', u'082', u'083', u'084', u'085', u'086', u'089', u'090', u'091', u'092', u'093', u'094', u'095', u'096', u'097', u'098', u'100', u'101', u'103', u'104', u'105', u'106', u'107', u'108', u'109', u'110', u'111', u'112', u'113', u'114', u'115', u'116', u'117', u'118', u'119', u'121', u'122', ...], dtype='object')

ipdb> affinity_matrix.values.dtype
dtype('float64')
ipdb> 'sums' in affinity_matrix.index
False

这是错误:

ipdb> affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0)
*** ValueError: cannot reindex from a duplicate axis

我试图用一个简单的例子来重现这一点,但是我失败了

In [32]: import pandas as pd

In [33]: import numpy as np

In [34]: a = np.arange(35).reshape(5,7)

In [35]: df = pd.DataFrame(a, ['x', 'y', 'u', 'z', 'w'], range(10, 17))

In [36]: df.values.dtype
Out[36]: dtype('int64')

In [37]: df.loc['sums'] = df.sum(axis=0)

In [38]: df
Out[38]: 
      10  11  12  13  14  15   16
x      0   1   2   3   4   5    6
y      7   8   9  10  11  12   13
u     14  15  16  17  18  19   20
z     21  22  23  24  25  26   27
w     28  29  30  31  32  33   34
sums  70  75  80  85  90  95  100

1
您是否有可能混淆了亲和度矩阵的真实列名?(即用其他东西代替了真实值以隐藏敏感信息)
Korem

@Korem,我不认为这是真的,但是即使这是真的,为什么这会导致上述错误呢?
Akavall

2
当分配给的索引具有重复值时,通常会看到这种情况。由于您要分配的是行,因此我希望列名中有重复的行。这就是为什么我问。
Korem

@Korem,的确,我的实际数据具有重复的索引值,当存在​​重复的索引值时,我能够在小示例中重现该错误。您完全回答了我的问题。谢谢。您介意将其作为答案吗?
Akavall 2014年

Answers:


170

当索引具有重复值时,当您联接/分配给列时,通常会出现此错误。由于您要分配给一行,因此我怀疑中有重复的值affinity_matrix.columns,可能未在您的问题中显示。


20
更准确地说,在我的案例中,有一个重复的值affinity_matrix.index,但是我认为这是相同的概念。
Akavall

24
对于那些后来才提到的人,index意味着rowcolumn names,他们在行索引上花费了20分钟,但结果却发现重复的列名导致了此错误。
杰森目标

除此之外,当我尝试为列列表上的数据框重新建立索引时,我遇到了此错误。奇怪的是,我的副本在我的原始数据帧中,因此请确保同时检查两者!
m8_

163

正如其他人所说,您的原始索引中可能有重复的值。要找到他们,请执行以下操作:

df[df.index.duplicated()]


39
要删除索引重复的行,请使用:df = df[~df.index.duplicated()]
tuomastik,

4
对于DatetimeIndexED dataframes,你可以resample到所需的频率,然后取.first().mean()
BallpointBen

28

如果通过串联其他DataFrame创建DataFrame,则经常会出现重复值的索引。如果您不关心保留索引值,并且希望它们是唯一值,则在连接数据时,请设置ignore_index=True

或者,要用新索引覆盖当前索引,而不要使用df.reindex(),请设置:

df.index = new_index

8
我使用ignore_index = True来使我的代码与串联的数据帧一起使用
Gabi Lee

确实,这ignore_index=False是默认值;如果使用该选项根本是要更改append行为,则必须是因为将其设置为True
Jeffrey Benjamin Brown

17

对于仍在为该错误而苦苦挣扎的人们,如果您不小心创建了一个具有相同名称的重复列,也可能会发生此错误。删除重复的列,如下所示:

df = df.loc[:,~df.columns.duplicated()]

12

只需跳过最后使用的错误.values

affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0).values

正是我所需要的!只是试图创建一个新列,但是我有一个重复的索引。使用.values确实成功了
Paul Wildenhain

8

今天我想添加一个新列时遇到了这个错误

df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

我想处理的REMARKdf_temp以返回1或0。但是我使用键入了错误的变量df。它返回了这样的错误:

----> 1 df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in __setitem__(self, key, value)
   2417         else:
   2418             # set column
-> 2419             self._set_item(key, value)
   2420 
   2421     def _setitem_slice(self, key, value):

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _set_item(self, key, value)
   2483 
   2484         self._ensure_valid_index(value)
-> 2485         value = self._sanitize_column(key, value)
   2486         NDFrame._set_item(self, key, value)
   2487 

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _sanitize_column(self, key, value, broadcast)
   2633 
   2634         if isinstance(value, Series):
-> 2635             value = reindexer(value)
   2636 
   2637         elif isinstance(value, DataFrame):

/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in reindexer(value)
   2625                     # duplicate axis
   2626                     if not value.index.is_unique:
-> 2627                         raise e
   2628 
   2629                     # other

ValueError: cannot reindex from a duplicate axis

如您所见,正确的代码应该是

df_temp['REMARK_TYPE'] = df_temp.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

因为dfdf_temp有不同数量的行。就这样回来了ValueError: cannot reindex from a duplicate axis

希望您能理解它,而我的回答可以帮助其他人调试他们的代码。


4

就我而言,出现此错误的原因不是因为值重复,而是因为我试图将较短的Series连接到一个Dataframe:两者具有相同的索引,但是Series的行较少(缺少前几行)。以下内容适用于我的目的:

df.head()
                          SensA
date                           
2018-04-03 13:54:47.274   -0.45
2018-04-03 13:55:46.484   -0.42
2018-04-03 13:56:56.235   -0.37
2018-04-03 13:57:57.207   -0.34
2018-04-03 13:59:34.636   -0.33

series.head()
date
2018-04-03 14:09:36.577    62.2
2018-04-03 14:10:28.138    63.5
2018-04-03 14:11:27.400    63.1
2018-04-03 14:12:39.623    62.6
2018-04-03 14:13:27.310    62.5
Name: SensA_rrT, dtype: float64

df = series.to_frame().combine_first(df)

df.head(10)
                          SensA  SensA_rrT
date                           
2018-04-03 13:54:47.274   -0.45        NaN
2018-04-03 13:55:46.484   -0.42        NaN
2018-04-03 13:56:56.235   -0.37        NaN
2018-04-03 13:57:57.207   -0.34        NaN
2018-04-03 13:59:34.636   -0.33        NaN
2018-04-03 14:00:34.565   -0.33        NaN
2018-04-03 14:01:19.994   -0.37        NaN
2018-04-03 14:02:29.636   -0.34        NaN
2018-04-03 14:03:31.599   -0.32        NaN
2018-04-03 14:04:30.779   -0.33        NaN
2018-04-03 14:05:31.733   -0.35        NaN
2018-04-03 14:06:33.290   -0.38        NaN
2018-04-03 14:07:37.459   -0.39        NaN
2018-04-03 14:08:36.361   -0.36        NaN
2018-04-03 14:09:36.577   -0.37       62.2

谢谢!我已经习惯于像这样过滤和合并DataFrames和Series了:df_larger_dataframe['values'] = df_filtered_dataframe['filtered_values'] 最近它在TimeSeries上还没有工作-您的代码解决了它!
tw0000

2

我在同一问题上浪费了几个小时。就我而言,必须先使用数据框的reset_index()才能应用Apply函数。在合并或从另一个索引数据集查找之前,您需要重置索引,因为1个数据集只能有1个索引。


2

适用于我的简单修复

df.reset_index(inplace=True)分组前运行。

谢谢这个github评论的解决方案。


@Chris_vr如果希望它返回数据帧,则删除该内部部分
Connor
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.