carga Python 2 GB de archivo de texto en la memoria

Question

En Python 2.7, cuando la carga de todos los datos de un archivo de texto de 2,5 GB en la memoria para un procesamiento más rápido de esta manera:

>>> f = open('dump.xml','r') 
>>> dump = f.read() 

Tengo el siguiente error:

Python(62813) malloc: *** mmap(size=140521659486208) failed (error code=12) 
*** error: can't allocate region 
*** set a breakpoint in malloc_error_break to debug 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
MemoryError 

¿Por qué Python intentó asignar 140521659486208 bytes de memoria para 2563749237 bytes de datos? ¿Cómo arreglo el código para que cargue todos los bytes?

Estoy teniendo alrededor de 3GB de RAM gratis. El archivo es un volcado xml Wiktionary.

Answer 1

Si usa mmap, podrá cargar todo el archivo en la memoria inmediatamente.

import mmap 

with open('dump.xml', 'rb') as f: 
    # Size 0 will read the ENTIRE file into memory! 
    m = mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) #File is open read-only 

    # Proceed with your code here -- note the file is already in memory 
    # so "readine" here will be as fast as could be 
    data = m.readline() 
    while data: 
    # Do stuff 
    data = m.readline() 

Answer 2

Basado en un rápido google, me encontré con this forum post que parece solucionar el problema que parece tener. Suponiendo que está ejecutando Mac o Linux en función del código de error, puede intentar implementar la recolección de basura con gc.enable() o gc.collect() como se sugiere en la publicación del foro.