lectura pitón sólo el final del texto enorme presentar

Question

Possible Duplicate:
Get last n lines of a file with Python, similar to tail
Read a file in reverse order using python

Tengo un archivo que está alrededor de 15 GB de tamaño, se trata de un archivo de registro que se supone que debo analizar la salida de. Ya hice un análisis básico de un archivo similar pero GRANDEMENTE más pequeño, con solo algunas líneas de registro. El análisis de cadenas es no el problema. El problema es el gran archivo y la cantidad de datos redundantes que contiene.

Básicamente estoy intentando hacer un script de python que pueda decir; por ejemplo, dame 5000 últimas líneas del archivo. Eso es una vez más el manejo básico de los argumentos y todo eso, nada especial allí, puedo hacer eso.

Pero, ¿cómo puedo definir o decirle al lector de archivos que SÓLO lea la cantidad de líneas que especifiqué desde el final del archivo? Estoy tratando de omitir la cantidad de líneas huuuuuuge al principio de un archivo ya que no estoy interesado en eso y para ser honesto, leer alrededor de 15GB de líneas de un archivo txt lleva demasiado tiempo. ¿Hay alguna manera de equivocarse ... empezar a leer desde ... el final del archivo? ¿Eso tiene sentido?

Todo se reduce a la cuestión de leer un archivo de 15 GB, línea por línea lleva demasiado tiempo. Así que quiero omitir los datos ya redundantes (redundantes para mí al menos) al principio y solo leer la cantidad de líneas del final del archivo que quiero leer.

La respuesta obvia es copiar manualmente N cantidad de líneas del archivo a otro archivo, pero ¿hay alguna manera de hacerlo semi-auto-mágicamente solo para leer la cantidad N de líneas desde el final del archivo con python ?

Answer 1

El método preferido en este punto era simplemente usar la cola de Unix para el trabajo y modificar el pitón para aceptar la entrada a través de la entrada estándar.

tail hugefile.txt -n1000 | python magic.py 

No es nada sexy, pero al menos se ocupa del trabajo. El gran archivo es una carga demasiado grande de manejar, me enteré. Al menos para mis habilidades de pitón. Así que fue mucho más fácil solo agregarle una pizca de magia nix para reducir el tamaño del archivo. Tail era nuevo para mí, entonces. Aprendí algo y descubrí otra forma de utilizar la terminal a mi favor otra vez. Gracias a todos.

Answer 2

Granja esto a UNIX:

import os 
os.popen('tail -n 1000 filepath').read() 

uso subprocess.Popen en lugar de os.popen si tiene que ser capaz de acceder a stderr (y algunas otras características)

Answer 3

Aunque yo preferiría la solución 'cola': si conoce la cantidad máxima de caracteres por línea puede implementar otra solución posible obteniendo el tamaño del archivo, abra un manejador de archivos y use el método 'buscar' con una cantidad estimada de caracteres que esté buscando para.

Este código final debería tener el siguiente aspecto: solo para explicar por qué también prefiero la solución de cola :) ¡buena suerte!

MAX_CHARS_PER_LINE = 80 
size_of_file = os.path.getsize('15gbfile.txt') 
file_handler = file.open('15gbfile.txt', "rb") 
seek_index = size_of_file - (number_of_requested_lines * MAX_CHARS_PER_LINE) 
file_handler.seek(seek_index) 
buffer = file_handler.read() 

puede mejorar este código analizando las nuevas líneas del búfer que lee. Buena suerte (y se debe utilizar la solución de cola ;-) Estoy seguro de que usted puede conseguir la cola para cada sistema operativo)

Answer 4

es necesario buscar a la final del archivo, a continuación, leer algunos trozos en bloques de al final, líneas de conteo, hasta que haya encontrado suficientes líneas nuevas para leer sus líneas n.

Básicamente, está implementando una forma simple de cola.

Aquí hay algo de código probado la ligera que hace precisamente eso:

import os, errno 

def lastlines(hugefile, n, bsize=2048): 
    # get newlines type, open in universal mode to find it 
    with open(hugefile, 'rU') as hfile: 
     if not hfile.readline(): 
      return # empty, no point 
     sep = hfile.newlines # After reading a line, python gives us this 
    assert isinstance(sep, str), 'multiple newline types found, aborting' 

    # find a suitable seek position in binary mode 
    with open(hugefile, 'rb') as hfile: 
     hfile.seek(0, os.SEEK_END) 
     linecount = 0 
     pos = 0 

     while linecount <= n + 1: 
      # read at least n lines + 1 more; we need to skip a partial line later on 
      try: 
       hfile.seek(-bsize, os.SEEK_CUR)   # go backwards 
       linecount += hfile.read(bsize).count(sep) # count newlines 
       hfile.seek(-bsize, os.SEEK_CUR)   # go back again 
      except IOError, e: 
       if e.errno == errno.EINVAL: 
        # Attempted to seek past the start, can't go further 
        bsize = hfile.tell() 
        hfile.seek(0, os.SEEK_SET) 
        linecount += hfile.read(bsize).count(sep) 
        break 
       raise # Some other I/O exception, re-raise 
      pos = hfile.tell() 

    # Re-open in text mode 
    with open(hugefile, 'r') as hfile: 
     hfile.seek(pos, os.SEEK_SET) # our file position from above 

     for line in hfile: 
      # We've located n lines *or more*, so skip if needed 
      if linecount > n: 
       linecount -= 1 
       continue 
      # The rest we yield 
      yield line