¿Cómo puedo manejar archivos grandes en Ruby?

Question

Soy bastante nuevo en programación, así que sea amable. Estoy tratando de extraer los números IBSN de un archivo .dat de la base de datos de la biblioteca. He escrito un código que funciona, pero solo está buscando aproximadamente la mitad del archivo de 180 MB. ¿Cómo puedo ajustarlo para buscar todo el archivo? ¿O cómo puedo escribir un programa que dividirá el archivo dat en fragmentos manejables?

edición: Aquí está mi código:

export = File.new("resultsfinal.txt","w+") 

File.open("bibrec2.dat").each do |line| 
    line.scan(/[a]{1}[1234567890xX]{10}\W/) do |x| 
    export.puts x 
    end 
    line.scan(/[a]{1}[1234567890xX]{13}/) do |x| 
    export.puts x 
    end 
end 

Answer 1

Si está programando en un sistema operativo moderno y el equipo tiene suficiente memoria (digamos 512megs), Ruby no debe tener ningún problema al leer el archivo en la memoria .

Las cosas suelen ser dudosas cuando se llega a un conjunto de trabajo de 2 gigabytes en un sistema operativo de 32 bits típico.

Answer 2

En cuanto al problema de rendimiento, no veo nada particularmente preocupante sobre el tamaño del archivo: 180 MB no debería plantear ningún problema. ¿Qué sucede con el uso de la memoria cuando estás ejecutando tu script?

No estoy seguro, sin embargo, de que sus expresiones regulares hagan lo que usted desea. Esto, por ejemplo:

/[a]{1}[1234567890xX]{10}\W/ 

va (creo) esto:

• una "a". ¿De verdad quieres unir para una "a"? "a" sería suficiente, en lugar de "[a] {1}", en ese caso.
• exactamente 10 (dígito o "x" o "X")
• un solo "no-palabra" carácter es decir, no az, AZ, 0-9 o guión

Hay un par de ejemplos de equivalentes ISBN here y here, aunque parecen coincidir con algo más parecido al formato que vemos en la contraportada de un libro y supongo que su archivo de entrada ha eliminado algo de ese formato.

Answer 3

Debe intentar detectar excepciones para comprobar si el problema está realmente en el bloque de lectura o no.

Solo para que sepa que ya hice un script con la misma sintaxis para buscar archivos grandes de ~ 8GB sin problema.

export = File.new("resultsfinal.txt","w+") 

File.open("bibrec2.dat").each do |line| 
    begin 
    line.scan(/[a]{1}[1234567890xX]{10}\W/) do |x| 
     export.puts x 
    end 
    line.scan(/[a]{1}[1234567890xX]{13}/) do |x| 
     export.puts x 
    end 
    rescue 
    puts "Problem while adding the result" 
    end 
end 

Answer 4

file = File.new("bibrec2.dat", "r") 
while (line = file.gets) 
    line.scan(/[a]{1}[1234567890xX]{10}\W/) do |x| 
    export.puts x 
    end 
    line.scan(/[a]{1}[1234567890xX]{13}/) do |x| 
    export.puts x 
    end 
end 
file.close 

Answer 5

Lo principal es limpiar y combinar la expresión regular para los beneficios de rendimiento. Además, siempre debe usar la sintaxis de bloque con los archivos para asegurarse de que los fd se cierren correctamente. File # cada uno no se carga todo el archivo en la memoria, se hace una línea a la vez:

File.open("resultsfinal.txt","w+") do |output| 
    File.open("bibrec2.dat").each do |line| 
     output.puts line.scan(/a[\dxX]{10}(?:[\dxX]{3}|\W)/) 
    end 
end 

Answer 6

Puede ver en el uso File#truncate y IO#seek y emplear el algoritmo de búsqueda de tipo binario. #truncate puede ser destructivo por lo que debe duplicar el archivo (sé que esto es una molestia).

middle = File.new("my_huge_file.dat").size/2 
tmpfile = File.new("my_huge_file.dat", "r+").truncate(middle) 
# run search algoritm on 'tmpfile' 
File.open("my_huge_file.dat") do |huge_file| 
    huge_file.seek(middle + 1) 
    # run search algorithm from here 
end 

El código es muy no probado, frágil e incompleto. Pero espero que te brinde una plataforma para construir.