如何将熊猫数据添加到现有的csv文件中？

259

我想知道是否可以使用pandas to_csv()函数将数据框添加到现有的csv文件中。csv文件与加载的数据具有相同的结构。

— 阿尤布·恩纳西里（Ayoub Ennassiri）
source

6

我认为@tlingf建议的方法更好，因为他正在使用pandas库的内置功能。他建议将mode定义为“ a”。“ A”代表APPEND'df.to_csv（'my_csv.csv'，mode ='a'，header = False）'

— Ayrat 2014年

1

@KCzar的答案考虑了以下两种情况：CSV文件不存在（即添加列标题）和CSV文件已经存在（因此仅添加不带标题的数据行）。在任何情况下，它都使用“追加”模式和自定义分隔符，并检查列数。

— TPPZ

541

您可以在pandas to_csv函数中指定python写入模式。对于追加，它是“ a”。

在您的情况下：

df.to_csv('my_csv.csv', mode='a', header=False)

默认模式为“ w”。

— 林特夫
source

7

感谢你的回答。这将允许我逐行追加新的df。但是，您可以让我知道如何在列方式上附加新的df吗？

— datanew

通过重新读取“ my_csv.csv”，然后连接新的df，然后保存它，我能够实现它。如果您知道一些简单的方法，请告诉我。我很感激！

— datanew

2

如何为第一个文件写标题，其余行自动添加到它的头？

— Etisha

4

@Etisha之类的df.to_csv(output_path, mode='a', header=not os.path.exists(output_path))

— Michele Tonutti

255

您可以通过在追加模式下打开文件来追加到csv ：

with open('my_csv.csv', 'a') as f:
    df.to_csv(f, header=False)

如果这是您的csv，请执行以下操作foo.csv：

,A,B,C
0,1,2,3
1,4,5,6

如果您阅读了该内容，然后附加，例如df + 6：

In [1]: df = pd.read_csv('foo.csv', index_col=0)

In [2]: df
Out[2]:
   A  B  C
0  1  2  3
1  4  5  6

In [3]: df + 6
Out[3]:
    A   B   C
0   7   8   9
1  10  11  12

In [4]: with open('foo.csv', 'a') as f:
             (df + 6).to_csv(f, header=False)

foo.csv 变成：

,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12

— 安迪·海登（Andy Hayden）
source

50

with open(filename, 'a') as f:
    df.to_csv(f, header=f.tell()==0)

除非存在，否则创建文件，否则追加
如果正在创建文件，则添加标题，否则跳过它

— 发展
source

2

它缺少a mode='a'作为参数to_csv（例如df.to_csv(f, mode='a', header=f.tell()==0)

— Gabriela Melo

2

@GabrielaMelo这是在函数open（filename，'a'）中传递的。

— Piyush

21

我在一些标头检查保护措施中使用了一个辅助功能，以处理所有问题：

def appendDFToCSV_void(df, csvFilePath, sep=","):
    import os
    if not os.path.isfile(csvFilePath):
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep)
    elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
        raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
    elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
        raise Exception("Columns and column order of dataframe and csv file do not match!!")
    else:
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)

— 沙皇
source

1

如果列顺序不匹配怎么办？

— 杰森目标

@JasonGoal df = df.reindex（sorted（df.columns），axis = 1）; 参见 stackoverflow.com/a/11067072/9095840。

— markemus

4

最初从pyspark数据帧开始-给定pyspark数据帧中的架构/列类型，我遇到类型转换错误（转换为pandas df然后附加到csv时）

通过将每个df中的所有列都强制为string类型，然后将其附加到csv来解决此问题，如下所示：

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

— 格兰特·香农
source

3

晚了一点，但是如果您多次打开和关闭文件或记录数据，统计信息等，您也可以使用上下文管理器。

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
      saved_df.to_csv('yourcsv.csv',mode='a',header=False)`

— 艾什瓦里亚
source