为熊猫MultiIndex设置一个级别


101

经过分组后,我创建了一个具有MultiIndex的DataFrame:

import numpy as np
import pandas as p
from numpy.random import randn

df = p.DataFrame({
    'A' : ['a1', 'a1', 'a2', 'a3']
  , 'B' : ['b1', 'b2', 'b3', 'b4']
  , 'Vals' : randn(4)
}).groupby(['A', 'B']).sum()

df

Output>            Vals
Output> A  B           
Output> a1 b1 -1.632460
Output>    b2  0.596027
Output> a2 b3 -0.619130
Output> a3 b4 -0.002009

如何在MultiIndex前面添加一个级别,以便将其转换为类似以下内容:

Output>                       Vals
Output> FirstLevel A  B           
Output> Foo        a1 b1 -1.632460
Output>               b2  0.596027
Output>            a2 b3 -0.619130
Output>            a3 b4 -0.002009

Answers:


138

一种使用pandas.concat()以下代码一行完成此操作的好方法:

import pandas as pd

pd.concat([df], keys=['Foo'], names=['Firstlevel'])

甚至更短的方法:

pd.concat({'Foo': df}, names=['Firstlevel'])

这可以推广到许多数据框架,请参阅docs


28
这对于通过添加来向列添加级别特别好axis=1,因为df.columns像索引一样,它没有像索引一样的“ set_index”方法,这总是让我很烦。
罗格·卡西斯

2
很好,因为它也适用于pd.Series对象,而当前接受的答案(来自2013年)则无效。
约翰(John John)

1
不再工作了。TypeError:无法散列的类型:'
list'– cduguet

5
我花了一段时间才意识到,如果您有多个键(FirstLevel['Foo', 'Bar']第一个参数),则还需要具有相应的长度,即[df] * len(['Foo', 'Bar'])
mrclng

7
甚至更简洁:pd.concat({'Foo': df}, names=['Firstlevel'])
kadee

123

您可以首先将其添加为普通列,然后将其附加到当前索引,因此:

df['Firstlevel'] = 'Foo'
df.set_index('Firstlevel', append=True, inplace=True)

并根据需要更改顺序:

df.reorder_levels(['Firstlevel', 'A', 'B'])

结果是:

                      Vals
Firstlevel A  B           
Foo        a1 b1  0.871563
              b2  0.494001
           a2 b3 -0.167811
           a3 b4 -1.353409

2
如果对具有MultiIndex列索引的数据框执行此操作,则会添加级别,这在大多数情况下可能无关紧要,但是如果您依赖元数据进行其他操作,则可能会添加级别。
naught101 '01

16

我认为这是一个更通用的解决方案:

# Convert index to dataframe
old_idx = df.index.to_frame()

# Insert new level at specified location
old_idx.insert(0, 'new_level_name', new_level_values)

# Convert back to MultiIndex
df.index = pandas.MultiIndex.from_frame(old_idx)

与其他答案相比有一些优势:

  • 新级别可以添加到任何位置,而不仅仅是顶部。
  • 它纯粹是对索引的一种操作,不需要像串联技巧那样操作数据。
  • 它不需要添加列作为中间步骤,这可以破坏多级列索引。

2

我用cxrodgers的答案做了一点功能,该IMHO是最佳的解决方案,因为它完全在索引上工作,而与任何数据帧或序列无关。

我添加了一个修复程序: to_frame()方法将为没有索引级别的索引级别发明新名称。这样,新索引将具有旧索引中不存在的名称。我添加了一些代码来还原此名称更改。

下面是代码,我已经使用了一段时间,它似乎工作正常。如果您发现任何问题或极端情况,我将不得不调整答案。

import pandas as pd

def _handle_insert_loc(loc: int, n: int) -> int:
    """
    Computes the insert index from the right if loc is negative for a given size of n.
    """
    return n + loc + 1 if loc < 0 else loc


def add_index_level(old_index: pd.Index, value: Any, name: str = None, loc: int = 0) -> pd.MultiIndex:
    """
    Expand a (multi)index by adding a level to it.

    :param old_index: The index to expand
    :param name: The name of the new index level
    :param value: Scalar or list-like, the values of the new index level
    :param loc: Where to insert the level in the index, 0 is at the front, negative values count back from the rear end
    :return: A new multi-index with the new level added
    """
    loc = _handle_insert_loc(loc, len(old_index.names))
    old_index_df = old_index.to_frame()
    old_index_df.insert(loc, name, value)
    new_index_names = list(old_index.names)  # sometimes new index level names are invented when converting to a df,
    new_index_names.insert(loc, name)        # here the original names are reconstructed
    new_index = pd.MultiIndex.from_frame(old_index_df, names=new_index_names)
    return new_index

它通过了以下单元测试代码:

import unittest

import numpy as np
import pandas as pd

class TestPandaStuff(unittest.TestCase):

    def test_add_index_level(self):
        df = pd.DataFrame(data=np.random.normal(size=(6, 3)))
        i1 = add_index_level(df.index, "foo")

        # it does not invent new index names where there are missing
        self.assertEqual([None, None], i1.names)

        # the new level values are added
        self.assertTrue(np.all(i1.get_level_values(0) == "foo"))
        self.assertTrue(np.all(i1.get_level_values(1) == df.index))

        # it does not invent new index names where there are missing
        i2 = add_index_level(i1, ["x", "y"]*3, name="xy", loc=2)
        i3 = add_index_level(i2, ["a", "b", "c"]*2, name="abc", loc=-1)
        self.assertEqual([None, None, "xy", "abc"], i3.names)

        # the new level values are added
        self.assertTrue(np.all(i3.get_level_values(0) == "foo"))
        self.assertTrue(np.all(i3.get_level_values(1) == df.index))
        self.assertTrue(np.all(i3.get_level_values(2) == ["x", "y"]*3))
        self.assertTrue(np.all(i3.get_level_values(3) == ["a", "b", "c"]*2))

        # df.index = i3
        # print()
        # print(df)

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.