创建一个空的Pandas DataFrame,然后填充它?


461

我从这里的pandas DataFrame文档开始:http ://pandas.pydata.org/pandas-docs/stable/dsintro.html

我想用时间序列类型的计算中的值迭代地填充DataFrame。所以基本上,我想用列A,B和时间戳记行(全为0或全部为NaN)初始化DataFrame。

然后,我将添加初始值,然后遍历此数据,计算出大约某行之前的新行row[A][t] = row[A][t-1]+1

我目前正在使用下面的代码,但是我觉得这很丑陋,必须有一种直接使用DataFrame进行此操作的方法,或者通常来说是一种更好的方法。注意:我正在使用Python 2.7。

import datetime as dt
import pandas as pd
import scipy as s

if __name__ == '__main__':
    base = dt.datetime.today().date()
    dates = [ base - dt.timedelta(days=x) for x in range(0,10) ]
    dates.sort()

    valdict = {}
    symbols = ['A','B', 'C']
    for symb in symbols:
        valdict[symb] = pd.Series( s.zeros( len(dates)), dates )

    for thedate in dates:
        if thedate > dates[0]:
            for symb in valdict:
                valdict[symb][thedate] = 1+valdict[symb][thedate - dt.timedelta(days=1)]

    print valdict

5
永远不要增长DataFrame!无论是在内存还是性能方面,将其附加到python列表然后最后将其转换为DataFrame总是比较便宜。
cs95

@ cs95 .append在pd和附加列表之间在功能上有什么不同?我知道.append在pandas中将整个数据集复制到一个新对象´中,python追加的工作方式是否有所不同?
南丫岛

@Lamma请在下面的我的答案中找到详细信息。当追加到df时,每次在内存中创建一个新的DataFrame而不是使用现有的DataFrame,坦白地说这是浪费。
cs95

Answers:


330

这里有一些建议:

使用date_range的指标:

import datetime
import pandas as pd
import numpy as np

todays_date = datetime.datetime.now().date()
index = pd.date_range(todays_date-datetime.timedelta(10), periods=10, freq='D')

columns = ['A','B', 'C']

注意:我们可以NaN简单地通过编写以下内容来创建一个空的DataFrame(带有s):

df_ = pd.DataFrame(index=index, columns=columns)
df_ = df_.fillna(0) # with 0s rather than NaNs

要对数据进行这些类型的计算,请使用numpy数组:

data = np.array([np.arange(10)]*3).T

因此,我们可以创建DataFrame:

In [10]: df = pd.DataFrame(data, index=index, columns=columns)

In [11]: df
Out[11]: 
            A  B  C
2012-11-29  0  0  0
2012-11-30  1  1  1
2012-12-01  2  2  2
2012-12-02  3  3  3
2012-12-03  4  4  4
2012-12-04  5  5  5
2012-12-05  6  6  6
2012-12-06  7  7  7
2012-12-07  8  8  8
2012-12-08  9  9  9

2
pd.date_range()对我不起作用。我尝试使用DateRange(通过eclipse的自动完成功能),但是可以将字符串用作日期格式,对吗?整体方法虽然有效(我将索引更改为其他内容)。
Matthias Kauer

2
date_range是用于创建日期时间索引的工厂函数,并且是0.8.0中的新功能,我绝对建议您升级到最新的稳定版本(0.9.1),其中包含许多错误修复和新功能。:)
Andy Hayden

26
以我的经验,创建一个具有NaN所需大小的数据框,然后填充值要比创建一个indexx 0尺寸(columns = [])的数据框并在循环的每一圈附加一列要慢得多。我的意思df[col_name] = pandas.Series([...])是循环遍历列名。在前一种情况下,不仅内存分配需要时间,而且用新值替换NaN似乎非常缓慢。
deeenes 2015年

5
肯定是@deeenes。这个答案应该更清楚-您很少(如果有的话)想要创建一个空的(NaNs)数据框。
安迪·海登

1
按照这个答案stackoverflow.com/a/30267881/2302569您需要分配fillna的结果,或将param
inplace

169

如果您只想创建一个空的数据框并在以后用一些传入的数据框填充它,请尝试以下操作:

newDF = pd.DataFrame() #creates a new dataframe that's empty
newDF = newDF.append(oldDF, ignore_index = True) # ignoring index is optional
# try printing some data from newDF
print newDF.head() #again optional 

在此示例中,我使用此pandas文档创建一个新的数据框,然后使用append将oldDF中的数据写入newDF。

如果我必须不断地将来自多个旧DF的新数据追加到此newDF中,则只需使用for循环即可遍历 pandas.DataFrame.append()


14
请注意,append(并且类似地concat)每次都将完整的数据集复制到一个新的对象,因此,迭代和附加可能并且将对性能造成重大影响。有关更多信息,请参阅:pandas.pydata.org/pandas-docs/stable/merging.html
MoustafaAAtta

4
@MoustafaAAtta将迭代数据附加到数据帧的替代方法是什么?
MysteryGuy

2
@MoustafaAAtta弗雷德在这篇文章中回答吗:stackoverflow.com/questions/10715965/…在这种观点上更好吗?
MysteryGuy

@MoustafaAAtta您也许可以仅将行附加到数据框,它仍将创建一个新对象,但对于较小的数据集,可能会有用。pandas.pydata.org/pandas-docs/stable/user_guide/...
geekidharsh

135

创建数据框的正确方法

TLDR;(只需阅读粗体文字)

这里的大多数答案将告诉您如何创建一个空的DataFrame并将其填写,但是没有人会告诉您这是一件坏事。

这是我的建议:等待直到您确定拥有所有需要使用的数据。使用列表收集数据,然后在准备好时初始化DataFrame。

data = []
for a, b, c in some_function_that_yields_data():
    data.append([a, b, c])

df = pd.DataFrame(data, columns=['A', 'B', 'C'])

一次添加到列表并创建一个DataFrame总是比创建一个空的DataFrame(或NaN之一)便宜,一遍又一遍地添加到列表列表还占用较少的内存,并且可以轻松处理,追加和删除(如果需要)的数据结构

此方法的另一个优点是dtypes可以自动推断(而不是分配object给所有对象)。

最后一个优点是为您的数据自动创建了aRangeIndex,因此不必担心(只需查看下面的劣势appendloc方法,您将在两种方法中看到需要正确处理索引的元素)。


你不应该做的事情

appendconcat在循环内

这是我从初学者看到的最大错误:

df = pd.DataFrame(columns=['A', 'B', 'C'])
for a, b, c in some_function_that_yields_data():
    df = df.append({'A': i, 'B': b, 'C': c}, ignore_index=True) # yuck
    # or similarly,
    # df = pd.concat([df, pd.Series({'A': i, 'B': b, 'C': c})], ignore_index=True)

内存重新分配给每一个appendconcat你有操作。再加上一个循环,就可以进行二次复杂度运算。从df.append文档页面

迭代地将行添加到DataFrame可能比单个连接更多地占用大量计算资源。更好的解决方案是将这些行添加到列表中,然后一次将列表与原始DataFrame连接起来。

与之相关的另一个错误df.append是用户倾向于忘记append不是就地函数,因此必须将结果分配回去。您还必须担心dtypes:

df = pd.DataFrame(columns=['A', 'B', 'C'])
df = df.append({'A': 1, 'B': 12.3, 'C': 'xyz'}, ignore_index=True)

df.dtypes
A     object   # yuck!
B    float64
C     object
dtype: object

处理对象列从来都不是一件好事,因为熊猫无法向量化这些列上的操作。您将需要执行以下操作来修复它:

df.infer_objects().dtypes
A      int64
B    float64
C     object
dtype: object

loc 循环内

我还曾经看到过loc将其追加到创建为空的DataFrame上:

df = pd.DataFrame(columns=['A', 'B', 'C'])
for a, b, c in some_function_that_yields_data():
    df.loc[len(df)] = [a, b, c]

和以前一样,您没有每次都预先分配所需的内存量,因此每次创建新行时都会重新增加内存。就像一样糟糕append,甚至更难看。

NaN的空数据框

然后,创建一个NaN的DataFrame以及与此相关的所有警告。

df = pd.DataFrame(columns=['A', 'B', 'C'], index=range(5))
df
     A    B    C
0  NaN  NaN  NaN
1  NaN  NaN  NaN
2  NaN  NaN  NaN
3  NaN  NaN  NaN
4  NaN  NaN  NaN

它会像其他对象一样创建一个对象列的DataFrame。

df.dtypes
A    object  # you DON'T want this
B    object
C    object
dtype: object

如上所述,追加仍然存在所有问题。

for i, (a, b, c) in enumerate(some_function_that_yields_data()):
    df.iloc[i] = [a, b, c]

证明在布丁中

对这些方法进行计时是最快的方法,以了解它们在内存和实用性方面的差异。

在此处输入图片说明

基准测试代码,以供参考。


6
列表附加应该是此类问题的最佳方式
YOBEN_S

9
需要提高一百万倍。永远不要增加数据框!
越野车

3
@ user3293236太可惜了,每当您回答一个老问题时,您都必须从底部开始;)
cs95

2
这是我最讨厌的事情之一。很多次,您会看到votes just停留在某个地方,只有很少的选票,却从未被接受。我想念𝚍𝚏=𝚙𝚍.𝙳𝚊𝚝𝚊𝙵𝚛𝚊𝚖𝚎([])的代码来创建一个空的熊猫数据框。赞成这个答案。很好的解释,@ cs95!
jonathan

1
这确实在文档中。“迭代地将行添加到DataFrame可能比单个连接更多地计算密集。一种更好的解决方案是将那些行添加到列表中,然后一次将列表与原始DataFrame进行连接。” pandas.pydata.org/pandas-docs/version/0.21/Generated/…–
endolith

132

用列名初始化空框架

import pandas as pd

col_names =  ['A', 'B', 'C']
my_df  = pd.DataFrame(columns = col_names)
my_df

将新记录添加到框架

my_df.loc[len(my_df)] = [2, 4, 5]

您可能还想通过字典:

my_dic = {'A':2, 'B':4, 'C':5}
my_df.loc[len(my_df)] = my_dic 

将另一个框架附加到现有框架

col_names =  ['A', 'B', 'C']
my_df2  = pd.DataFrame(columns = col_names)
my_df = my_df.append(my_df2)

性能考量

如果要在循环内添加行,请考虑性能问题。对于大约前1000条记录,“ my_df.loc”的性能较好,但通过增加循环中的记录数,它的性能逐渐变慢。

如果您打算在一个大循环中进行细化处理(例如10M‌条记录左右),那么最好将这两种方法混合使用;用iloc填充数据框,直到大小达到1000,然后将其附加到原始数据框,然后清空临时数据框。这将使您的性能提高大约10倍。


my_df = my_df.append(my_df2)除非我指定,否则对我不起作用ignore_index=True
Nasif Imtiaz Ohi

0

假设有19行的数据框

index=range(0,19)
index

columns=['A']
test = pd.DataFrame(index=index, columns=columns)

保持A列不变

test['A']=10

保持列b为循环给出的变量

for x in range(0,19):
    test.loc[[x], 'b'] = pd.Series([x], index = [x])

您可以将第一个x替换为pd.Series([x], index = [x])任何值

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.