Pandas DataFrame到列表列表


115

将列表列表转换为pandas数据框很容易:

import pandas as pd
df = pd.DataFrame([[1,2,3],[3,4,5]])

但是,如何将df重新变成列表列表?

lol = df.what_to_do_now?
print lol
# [[1,2,3],[3,4,5]]

Answers:



15

如果数据具有要保留的列标签和索引标签,则有一些选项。

示例数据:

>>> df = pd.DataFrame([[1,2,3],[3,4,5]], \
       columns=('first', 'second', 'third'), \
       index=('alpha', 'beta')) 
>>> df
       first  second  third
alpha      1       2      3
beta       3       4      5

tolist()其他答案中描述方法很有用,但仅生成核心数据-可能还不够,具体取决于您的需求。

>>> df.values.tolist()
[[1, 2, 3], [3, 4, 5]]

一种方法是使用将转换DataFrame为json df.to_json(),然后再次解析。这很麻烦,但确实具有一些优点,因为该to_json()方法具有一些有用的选项。

>>> df.to_json()
{
  "first":{"alpha":1,"beta":3},
  "second":{"alpha":2,"beta":4},"third":{"alpha":3,"beta":5}
}

>>> df.to_json(orient='split')
{
 "columns":["first","second","third"],
 "index":["alpha","beta"],
 "data":[[1,2,3],[3,4,5]]
}

繁琐,但可能有用。

好消息是,为列和行建立列表非常简单:

>>> columns = [df.index.name] + [i for i in df.columns]
>>> rows = [[i for i in row] for row in df.itertuples()]

这样产生:

>>> print(f"columns: {columns}\nrows: {rows}") 
columns: [None, 'first', 'second', 'third']
rows: [['alpha', 1, 2, 3], ['beta', 3, 4, 5]]

如果None索引的名称令人讨厌,则将其重命名:

df = df.rename_axis('stage')

然后:

>>> columns = [df.index.name] + [i for i in df.columns]
>>> print(f"columns: {columns}\nrows: {rows}") 

columns: ['stage', 'first', 'second', 'third']
rows: [['alpha', 1, 2, 3], ['beta', 3, 4, 5]]

1
如果您有一个多级索引,则索引元组将是生成的行的第一个元素。您将需要进一步的步骤来拆分它。
康斯坦丁

使用DataFrame.itertuples()DataFrame.to_records()所有这些都不会更简单吗?
AMC

@AMC也许,我不知道,也许吗?而不是崇高的,为什么不在自己的答案中添加对该思想的适当处理?
Andrew E

@AndrewE嗯,仍然值得讨论和改进现有的答案。
AMC

5

我不知道它是否适合您的需求,但您也可以这样做:

>>> lol = df.values
>>> lol
array([[1, 2, 3],
       [3, 4, 5]])

这只是ndarray模块中的一个numpy数组,可让您执行所有常见的numpy数组操作。


1
加1. 在实践中,通常不需要将NumPy数组转换为列表列表。
jpp

5

我想保留索引,因此我针对该解决方案调整了原始答案:

list_df = df.reset_index().values.tolist()

现在,您可以将其粘贴到其他位置(例如,粘贴到“堆栈溢出”问题中),然后重新创建它:

pd.Dataframe(list_df, columns=['name1', ...])
pd.set_index(['name1'], inplace=True)


1

注意:我在堆栈溢出中看到了很多情况,其中完全不需要将Pandas Series或DataFrame转换为NumPy数组或纯Python列表。如果您不熟悉该库,请考虑仔细检查那些Pandas对象是否已经提供了所需的功能。

引用@jpp 的评论

在实践中,通常不需要将NumPy数组转换为列表列表。


如果Pandas DataFrame / Series不起作用,则可以使用内置的DataFrame.to_numpySeries.to_numpy方法。


1
这个答案仅代表您自己的信念。坦率地说,这有点尴尬。高级用户肯定会知道,将数据帧转换为列表/数组是有充分正当理由的。
Nicolas Gervais

@NicolasGervais可能有点太多了,是的,我将对其进行编辑以减少泛化。有完全正当的理由将数据帧转换为列表/数组当然,我的回答没有说​​相反的话。高级用户肯定会知道。我不明白那个刺戳的意思。在注意到许多人将系列转换为ndarrays或列表,以及将ndarrays转换为列表后,我写了这个答案,仅仅是因为他们不知道这些对象支持什么操作。
AMC

我指的是非常公然的案例,例如这样做,for elem in some_series.values.tolist():因为它们不知道您可以迭代系列的元素。我不确定这个答案有什么可怕的。
AMC

0

这很简单:

import numpy as np

list_of_lists = np.array(df)

这与使用DataFrame.values或有DataFrame.to_numpy()什么不同?不用担心它会创建一个NumPy数组,而不是普通的Python列表。
AMC

-1

我们可以使用DataFrame.iterrows()函数遍历给定Dataframe的每一行,并根据每一行的数据构造一个列表:

# Empty list 
row_list =[] 

# Iterate over each row 
for index, rows in df.iterrows(): 
    # Create list for the current row 
    my_list =[rows.Date, rows.Event, rows.Cost] 

    # append the list to the final list 
    row_list.append(my_list) 

# Print 
print(row_list) 

我们可以成功地将给定数据帧的每一行提取到一个列表中


这不是一个好主意,尝试,因为它是反模式和慢一旦DF变大,以避免使用df.iterrows:stackoverflow.com/questions/16476924/...
德里克Ø
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.