加载和解析具有多个JSON对象的JSON文件


101

我正在尝试在Python中加载和解析JSON文件。但是我在尝试加载文件时遇到了麻烦:

import json
json_data = open('file')
data = json.load(json_data)

产量:

ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

我看着18.2。json Python文档中的JSON编码器和解码器,但是通读这个看起来糟透了的文档非常令人沮丧。

前几行(用随机条目匿名):

{"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}

Answers:


222

您有一个JSON Lines格式的文本文件。您需要逐行解析文件:

import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

行都包含有效的JSON,但总体而言,它不是有效的JSON值,因为没有顶级列表或对象定义。

请注意,由于该文件每行包含JSON,因此您无需费力地尝试一次性分析所有内容或找出流JSON解析器。现在,您可以选择在继续进行下一行之前分别处理每一行,从而节省了进程中的内存。如果文件很大,您可能不想将每个结果附加到一个列表中,然后再处理所有内容。

如果您有一个文件,其中包含带有分隔符的单个JSON对象,请使用如何使用“ json”模块一次读取一个JSON对象?使用缓冲方法解析单个对象。


2
+1也许值得注意,如果不需要一次所有对象,则逐个处理它们可能是更有效的方法。这样,您将不需要将全部数据存储在内存中,而只需将其中的一部分存储。
塔德克2012年

1
@Pi_:您将拥有一本字典,因此只需将字段作为键来访问:data = json.loads(line); print data[u'votes']
Martijn Pieters

1
@Pi_:然后输出json.loads()的结果,或使用调试器进行检查。
马丁·彼得斯

1
@Pi_:不;不要将JSON格式与python dict表示混淆。您现在正在看到带有字符串的python字典。
马丁·彼得斯

1
@ user2441441:在此处查看帖子中的链接答案
马丁·彼得斯


4

病了格式化。每行有一个JSON对象,但是它们不包含在较大的数据结构(即数组)中。您可能需要重新格式化它,使其以每行结尾处的逗号开头[和结尾],或者将其作为单独的字典逐行进行解析。


20
对于50MB的文件,OP可能最好逐行处理数据。:-)
马丁·皮特斯

11
该文件是否格式错误取决于一个人的观点。如果要采用“ JSON行”格式,则它是有效的。参见:jsonlines.org
LS
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.