¿Lees las últimas n líneas de un archivo en Ruby?

Question

Necesito leer las últimas 25 líneas de un archivo (para mostrar las entradas de registro más recientes). ¿Hay alguna forma en Ruby para comenzar al final de un archivo y leerlo al revés?

Answer 1

No puedo responder por Ruby pero la mayoría de estos lenguajes siguen el lenguaje C de E/S de archivos. Eso significa que no hay forma de hacer lo que preguntas aparte de buscar. Esto generalmente toma uno de dos enfoques.

• Comenzando desde el inicio del archivo y escaneándolo todo, recordando las 25 líneas más recientes. Luego, cuando llegue al final del archivo, imprímalo.
• Un enfoque similar pero tratando de buscar primero una ubicación con mejor estimación. Eso significa buscar (por ejemplo) fin de archivo menos 4000 caracteres, y luego hacer exactamente lo que hizo en el primer acercamiento, con la condición de que, si no obtuvo 25 líneas, debe hacer una copia de seguridad y volver a intentarlo (por ejemplo, al final del archivo menos 5000 caracteres).

La segunda forma es la que yo prefiero ya que, si elige su primera compensación sabiamente, casi seguramente solo necesitará una oportunidad. Los archivos de registro todavía tienden a tener longitudes de línea máximas fijas (creo que los codificadores todavía tienen una propensión a los archivos de 80 columnas mucho después de que su utilidad se haya degradado). Tiendo a elegir el número de líneas deseado multiplicado por 132 como mi desplazamiento.

Y a partir de una mirada rápida de los documentos de Ruby en línea, parece que hace siguiendo el modismo C. Utilizaría "ios.seek(25*-132,IO::SEEK_END)" si siguiera mi consejo, luego lea desde allí.

Answer 2

¿El archivo es lo suficientemente grande como para evitar leerlo todo? Si no es así, usted podría hacer

IO.readlines("file.log")[-25..-1] 

Si es demasiado grande, es posible que necesite usar IO#seek para leer de cerca del final del archivo, y seguir buscando hacia el principio hasta que haya visto 25 líneas.

Answer 3

Hay una biblioteca para Ruby llamada File::Tail. Esto puede obtener las últimas N líneas de un archivo como la utilidad de cola UNIX.

Asumo que hay algunos buscan la optimización en su lugar en la versión de UNIX de cola con puntos de referencia como estos (probado en un archivo de texto poco más de 11M):

[john@awesome]$du -sh 11M.txt 
11M  11M.txt 
[john@awesome]$time tail -n 25 11M.txt 
/sbin/ypbind 
/sbin/arptables 
/sbin/arptables-save 
/sbin/change_console 
/sbin/mount.vmhgfs 
/misc 
/csait 
/csait/course 
/.autofsck 
/~ 
/usb 
/cdrom 
/homebk 
/staff 
/staff/faculty 
/staff/faculty/darlinr 
/staff/csadm 
/staff/csadm/service_monitor.sh 
/staff/csadm/.bash_history 
/staff/csadm/mysql5 
/staff/csadm/mysql5/MySQL-server-community-5.0.45-0.rhel5.i386.rpm 
/staff/csadm/glibc-common-2.3.4-2.39.i386.rpm 
/staff/csadm/glibc-2.3.4-2.39.i386.rpm 
/staff/csadm/csunixdb.tgz 
/staff/csadm/glibc-headers-2.3.4-2.39.i386.rpm 

real 0m0.012s 
user 0m0.000s 
sys  0m0.010s 

Sólo puedo imaginar la librería Ruby utiliza una método similar.

Editar:

para la curiosidad de Pax:

[john@awesome]$time cat 11M.txt | tail -n 25 
/sbin/ypbind 
/sbin/arptables 
/sbin/arptables-save 
/sbin/change_console 
/sbin/mount.vmhgfs 
/misc 
/csait 
/csait/course 
/.autofsck 
/~ 
/usb 
/cdrom 
/homebk 
/staff 
/staff/faculty 
/staff/faculty/darlinr 
/staff/csadm 
/staff/csadm/service_monitor.sh 
/staff/csadm/.bash_history 
/staff/csadm/mysql5 
/staff/csadm/mysql5/MySQL-server-community-5.0.45-0.rhel5.i386.rpm 
/staff/csadm/glibc-common-2.3.4-2.39.i386.rpm 
/staff/csadm/glibc-2.3.4-2.39.i386.rpm 
/staff/csadm/csunixdb.tgz 
/staff/csadm/glibc-headers-2.3.4-2.39.i386.rpm 

real 0m0.350s 
user 0m0.000s 
sys  0m0.130s 

todavía en un segundo, pero si hay una gran cantidad de operaciones de archivo esto hace una gran diferencia.

Answer 4

Si en un sistema * nix con tail, puede engañar de esta manera:

last_25_lines = `tail -n 25 whatever.txt` 

Answer 5

¿Qué tal:

file = [] 
File.open("file.txt").each_line do |line| 
    file << line 
end 

file.reverse.each_with_index do |line, index| 
    puts line if index < 25 
end 

El rendimiento sería terrible sobre un archivo grande como se itera dos veces, el mejor enfoque sería el ya mencionado leer el archivo y almacenar las últimas 25 líneas en la memoria y mostrarlas. Pero esto fue solo un pensamiento alternativo.

Answer 6

acabo escribió un implemenation rápido con #seek:

class File 
    def tail(n) 
    buffer = 1024 
    idx = (size - buffer).abs 
    chunks = [] 
    lines = 0 

    begin 
     seek(idx) 
     chunk = read(buffer) 
     lines += chunk.count("\n") 
     chunks.unshift chunk 
     idx -= buffer 
    end while lines < n && pos != 0 

    chunks.join.lines.reverse_each.take(n).reverse.join 
    end 
end 

File.open('rpn-calculator.rb') do |f| 
    p f.tail(10) 
end 

Answer 7

Versión mejorada del excelente solución basada en buscar de manveru. Este devuelve exactamente n líneas.

class File 

    def tail(n) 
    buffer = 1024 
    idx = [size - buffer, 0].min 
    chunks = [] 
    lines = 0 

    begin 
     seek(idx) 
     chunk = read(buffer) 
     lines += chunk.count("\n") 
     chunks.unshift chunk 
     idx -= buffer 
    end while lines < (n + 1) && pos != 0 

    tail_of_file = chunks.join('') 
    ary = tail_of_file.split(/\n/) 
    lines_to_return = ary[ ary.size - n, ary.size - 1 ] 

    end 
end 

Answer 8

Aquí hay una versión de la cola que no almacena ningún buffers en la memoria, mientras que ir, pero en su lugar utiliza "punteros". También hace la verificación de límite para que no termine buscando un desplazamiento negativo (si, por ejemplo, tiene más para leer pero menos que su tamaño de fragmento).

def tail(path, n) 
    file = File.open(path, "r") 
    buffer_s = 512 
    line_count = 0 
    file.seek(0, IO::SEEK_END) 

    offset = file.pos # we start at the end 

    while line_count <= n && offset > 0 
    to_read = if (offset - buffer_s) < 0 
       offset 
       else 
       buffer_s 
       end 

    file.seek(offset-to_read) 
    data = file.read(to_read) 

    data.reverse.each_char do |c| 
     if line_count > n 
     offset += 1 
     break 
     end 
     offset -= 1 
     if c == "\n" 
     line_count += 1 
     end 
    end 
    end 

    file.seek(offset) 
    data = file.read 
end 

casos de prueba en https://gist.github.com/shaiguitar/6d926587e98fc8a5e301