Analizando un archivo de texto grande (20GB) con python - leyendo en 2 líneas como 1

Question

Estoy analizando un archivo de 20Gb y enviando líneas que cumplen una condición determinada a otro archivo, sin embargo ocasionalmente python leerá en 2 líneas a la vez y concatenará ellos.

inputFileHandle = open(inputFileName, 'r') 

row = 0 

for line in inputFileHandle: 
    row = row + 1 
    if line_meets_condition: 
     outputFileHandle.write(line) 
    else: 
     lstIgnoredRows.append(row) 

He comprobado las terminaciones de línea en el archivo de origen y se comprueban como alimentaciones de línea (ascii char 10). Sacar las filas del problema y analizarlas en forma aislada funciona como se esperaba. ¿Estoy golpeando alguna limitación python aquí? La posición en el archivo de la primera anomalía está alrededor de la marca de 4 GB.

Answer 1

rápida búsqueda en Google de "archivos de lectura pitón más de 4 GB" dio muchos muchos resultados. Ver here for such an exampleand another one which takes over from the first.

Es un error en Python.

Ahora, la explicación del error; no es fácil de reproducir porque depende tanto del tamaño del búfer del ARCHIVO interno como del número de caracteres que se pasan a fread(). En el código fuente de Microsoft CRT, en open.c, hay un bloqueo que comienza con este alentador comentario: "Esta es la parte difícil. Encontramos un CR al final del buffer. Debemos mirar hacia adelante para ver si el siguiente char es un LF " Curiosamente, hay una copia casi exacta de esta función en el código fuente de Perl: http://perl5.git.perl.org/perl.git/blob/4342f4d6df6a7dfa22a470aa21e54a5622c009f3:/win32/win32.c#l3668 El problema está en la llamada a SetFilePointer(), utilizada para retroceder una posición después de la búsqueda anticipada; fallará porque no puede devolver la posición actual en un DWORD de 32 bits. [La solución es fácil; ¿lo ves?] En este punto, la función piensa que la próxima lectura() devolverá el LF, pero no lo hará porque el puntero del archivo no se movió hacia atrás.

Y el trabajo en torno a:

Pero en cuenta que Python 3.x no se ve afectada (archivos RAW siempre se abren en modo binario y traducción CRLF se realiza mediante Python); con 2.7, puede usar io.open().

Answer 2

La marca de 4 GB sospechosamente está cerca del valor máximo que se puede almacenar en un registro de 32 bits (2 ** 32).

El código que ha publicado se ve bien por sí mismo, por lo que sospecho que hay un error en su compilación de Python.

Fwiw, el fragmento sería un poco más limpio si se utiliza enumerar:

inputFileHandle = open(inputFileName, 'r') 

for row, line in enumerate(inputFileHandle): 
    if line_meets_condition: 
     outputFileHandle.write(line) 
    else: 
     lstIgnoredRows.append(row)