lectura bastante grandes archivos JSON en Python

Question

Duplicar posible:
Is there a memory efficient and fast way to load big json files in python?

Así que tienen algunas bastante grandes archivos JSON codificado. El más pequeño es de 300 MB, pero este es con mucho el más pequeño. El resto son GB múltiples, desde alrededor de 2GB a 10GB +.

Me parece que me quedo sin memoria cuando intento cargar el archivo con Python. Actualmente estoy realizando algunas pruebas para ver aproximadamente cuánto tiempo tendremos que lidiar con estas cosas para ver a dónde ir desde aquí. Aquí está el código que estoy usando para la prueba:

from datetime import datetime 
import json 

print datetime.now() 

f = open('file.json', 'r') 
json.load(f) 
f.close() 

print datetime.now() 

No es demasiado sorprendente, Python me da un MemoryError. Parece que json.load() llama a json.loads (f.read()), que está tratando de volcar todo el archivo en la memoria primero, lo que claramente no va a funcionar.

¿De alguna manera puedo resolver esto limpiamente?

Sé que esto es viejo, pero no creo que sea un duplicado. Si bien la respuesta es la misma, la pregunta es diferente. En el "duplicado", la pregunta es cómo leer archivos de gran tamaño de manera eficiente, mientras que esta pregunta trata de archivos que ni siquiera caben en la memoria. Eficiencia no es requerida

Answer 1

La mejor opción parece ser utilizar algo como ijson, un módulo que funcionará con JSON como una secuencia, en lugar de como un archivo de bloque.

Editar: También vale la pena mirar - kashif's comment sobre .