Lectura de una línea específica de un archivo grande en Perl

Question

¿Hay alguna forma rápida y eficiente de leer líneas específicas de archivos grandes, sin cargarlos en la memoria?

Escribí una secuencia de comandos perl, que ejecuta muchas bifurcaciones y me gustaría que leyeran líneas específicas de un archivo.

Por el momento estoy usando un comando externo:

sub getFileLine { 
    my ($filePath, $lineWanted) = @_; 
    $SIG{PIPE} = '_IGNORE_'; 
    open(my $fh, '-|:utf8', "tail -q -n +$lineWanted \"$filePath\" | head -n 1"); 
    my $line = <$fh>; 
    close $fh; 
    chomp($line); 
    return $line; 
} 

Su rápido y funciona - pero tal vez hay una manera más "Perl-ish", lo más rápido y eficiente de la memoria como ésta?

Como sabes, la creación de un proceso de horquilla en Perl duplica la memoria de proceso principal, por lo que si el proceso principal usa 10 MB, la horquilla utilizará al menos esa cantidad.

Mi objetivo es mantener el proceso de horquilla (por lo que el proceso principal hasta que las horquillas se ejecutan también) uso de la memoria lo más bajo posible. Es por eso que no quiero cargar todo el archivo en la memoria.

Answer 1

Antes de continuar, es importante comprender cómo funciona fork. Cuando fork un proceso, el sistema operativo usa la semántica copy-on-write para compartir la mayor parte de la memoria de los procesos primario y secundario; solo la cantidad de memoria que difiere entre el padre y el hijo debe asignarse por separado.

Para leer una sola línea de un archivo en Perl, aquí está una manera simple:

open my $fh, '<', $filePath or die "$filePath: $!"; 
my $line; 
while(<$fh>) { 
    if($. == $lineWanted) { 
     $line = $_; 
     last; 
    } 
} 

Esto utiliza la variable especial $. que contiene el número de línea del gestor de archivo actual.

Answer 2

Eche un vistazo a Tie::File módulo de núcleo.

Answer 3

No necesita tenedor. Como se puede imaginar, leer una línea específica de un archivo es una operación bastante común que ya hace uno de los 20k módulos en CPAN.

File::ReadBackwards es eficiente en cuanto a la memoria y rápido.