¿Cómo puedo recorrer dos archivos simultáneamente en Perl?

Question

Tengo dos archivos de texto que contienen datos en columnas de la variedad position - value, ordenados por position.

Aquí se muestra un ejemplo del primer archivo (archivo A):

100 1 
101 1 
102 0 
103 2 
104 1 
... 

Aquí se muestra un ejemplo del segundo archivo (B):

20 0 
21 0 
... 
100 2 
101 1 
192 3 
193 1 
... 

En lugar de leer uno de los dos archivos en una tabla hash, que es prohibitiva debido a restricciones de memoria, lo que me gustaría hacer es recorrer dos archivos simultáneamente, de forma gradual.

Lo que esto significa es que me gustaría transmitir a través de las líneas de A o B y comparar los valores position.

Si las dos posiciones son iguales, entonces realizo un cálculo en los valores asociados con esa posición.

De lo contrario, si las posiciones no son iguales, me desplazo por las líneas del archivo A o archivo B hasta que las posiciones sean iguales (cuando vuelva a realizar mi cálculo) o llegue a EOF de ambos archivos.

¿Hay alguna manera de hacer esto en Perl?

Answer 1

Parece un problema con el que probablemente tropezaría, por ejemplo, datos de tabla de base de datos con claves y valores. Aquí hay una implementación del pseudocódigo proporcionado por rjp.

#!/usr/bin/perl 

use strict; 
use warnings; 

sub read_file_line { 
    my $fh = shift; 

    if ($fh and my $line = <$fh>) { 
    chomp $line; 
    return [ split(/\t/, $line) ]; 
    } 
    return; 
} 

sub compute { 
    # do something with the 2 values 
} 

open(my $f1, "file1"); 
open(my $f2, "file2"); 

my $pair1 = read_file_line($f1); 
my $pair2 = read_file_line($f2); 

while ($pair1 and $pair2) { 
    if ($pair1->[0] < $pair2->[0]) { 
    $pair1 = read_file_line($f1); 
    } elsif ($pair2->[0] < $pair1->[0]) { 
    $pair2 = read_file_line($f2); 
    } else { 
    compute($pair1->[1], $pair2->[1]); 
    $pair1 = read_file_line($f1); 
    $pair2 = read_file_line($f2); 
    } 
} 

close($f1); 
close($f2); 

Hope this helps!

Answer 2

Para recorrer los archivos, puede usar el módulo Tie::File. Representa un archivo de texto normal como una matriz.

Answer 3

Si los archivos están ordenados, páselos en función de cuál tenga la posición más baja.

Pseudocódigo:

read Apos, Aval from A # initial values 
read Bpos, Bval from B 
until eof(A) or eof(B) 
    if Apos == Bpos then 
    compare() 
    read Apos, Aval from A # advance both files to get a new position 
    read Bpos, Bval from B 
    fi 
    if Apos < Bpos then read Apos, Aval from A 
    if Bpos < Apos then read Bpos, Bval from B 
end 

También es posible usar join(1) para aislar las líneas con las posiciones comunes y proceso que en su tiempo libre.

Answer 4

Aquí hay una solución rápida. Si los datos en ambos archivos son bastante equivalentes (por ejemplo, el mismo número de líneas), realmente no es necesario almacenar en tablas hash. Pero pensé que sería útil en caso de que los datos estén codificados.

Código:

open(f1, "<data1"); 
open(f2, "<data2"); 
# initialize hashes 
%data1 =(); 
%data2 =(); 
while(($line1 = <f1>) and ($line2 = <f2>)){ 
    chomp($line1); 
    chomp($line2); 
    # split fields 1 and 2 into an array 
    @LINE1 = split(/\t/, $line1); 
    @LINE2 = split(/\t/, $line2); 
    # store data into hashes 
    $data1{$LINE1[0]} = $LINE1[1]; 
    $data2{$LINE2[0]} = $LINE2[1]; 
    # compare column 2 
    if ($data1{$LINE2[0]} == $data2{$LINE1[0]}){ 
      # compute something 
      $new_val = $data1{$LINE2[0]} + $data2{$LINE1[0]}; 
      print $LINE1[0] . "\t" . $new_val . "\n"; 
    } else { 
      print $LINE1[0] . "\t" . $data1{$LINE1[0]} . "\n"; 
    } 
} 

espero que ayude y quiero saber si es útil.