Ruby: ¿Cuál es una manera elegante de elegir una línea al azar de un archivo de texto?

Question

He visto algunos ejemplos realmente hermosos de Ruby y estoy tratando de cambiar mi forma de pensar para poder producirlos en lugar de solo admirarlos. Esto es lo mejor que podía llegar a para recoger una línea aleatoria de un archivo:

def pick_random_line 
    random_line = nil 
    File.open("data.txt") do |file| 
    file_lines = file.readlines() 
    random_line = file_lines[Random.rand(0...file_lines.size())] 
    end 

    random_line                                        
end 

me siento como que tiene que ser posible hacer esto de una manera más corta, más elegante sin almacenar los contenidos de todo el archivo en la memoria . ¿Esta ahí?

Answer 1

Puede hacerlo sin almacenar nada excepto el candidato actual para la línea aleatoria.

def pick_random_line 
    chosen_line = nil 
    File.foreach("data.txt").each_with_index do |line, number| 
    chosen_line = line if rand < 1.0/(number+1) 
    end 
    return chosen_line 
end 

Así que la primera línea se elige con probabilidad 1/1 = 1; la segunda línea se elige con probabilidad 1/2, por lo que la mitad de las veces se conserva la primera y la mitad del tiempo que cambia a la segunda.

Luego se elige la tercera línea con probabilidad 1/3, por lo que 1/3 de las veces la elige, y la otra 2/3 veces guarda cualquiera de las dos primeras que eligió. Como cada uno de ellos tenía un 50% de probabilidades de ser elegido a partir de la línea 2, cada uno termina con una probabilidad de 1/3 de ser elegido a partir de la línea 3.

Y así sucesivamente. En la línea N, cada línea de 1-N tiene una probabilidad de 1/N de ser elegida, y eso se mantiene hasta el final del archivo (siempre que el archivo no sea tan grande que 1/(número de líneas en el archivo)) es menor que épsilon :)). Y solo realiza una pasada en el archivo y nunca almacena más de dos líneas a la vez.

EDITAR Usted no va a conseguir una solución concisa real con este algoritmo, pero se puede convertir en una sola línea si desea:

def pick_random_line 
    File.foreach("data.txt").each_with_index.reduce(nil) { |picked,pair| 
    rand < 1.0/(1+pair[1]) ? pair[0] : picked } 
end 

Answer 2

Esto no es mucho mejor que lo que se le ocurrió, pero al menos es más corto:

def pick_random_line 
    lines = File.readlines("data.txt") 
    lines[rand(lines.length)] 
end 

Una cosa que usted puede hacer para que el código sea más Rubyish apoyos se omiten. Use readlines y size en lugar de readlines() y size().

Answer 3

Ya existe una entrada al azar selector integrado en la clase Ruby Array: sample().

def pick_random_line 
    File.readlines("data.txt").sample 
end 

Answer 4

Stat el archivo, seleccione un número aleatorio entre cero y el tamaño del archivo, que tratan de byte en el archivo. Escanee hasta la próxima línea nueva, luego lea y devuelva la siguiente línea (suponiendo que no se encuentra al final del archivo).

Answer 5

Un chiste:

def pick_random_line(file) 
    `head -$((${RANDOM} % `wc -l < #{file}` + 1)) #{file} | tail -1` 
end 

Si protesta que no es Ruby, ir a buscar a una charla en Euruko de este año titulado Ruby es a diferencia de un plátano.

PD: Ignora el resaltado de sintaxis incorrecto de SO.

Answer 6

Aquí una versión más corta de respuesta excelente de Marcos, no tan corto como Dave aunque

def pick_random_line number=1, chosen_line="" 
    File.foreach("data.txt") {|line| chosen_line = line if rand < 1.0/number+=1} 
    chosen_line 
end 

Answer 7

Esta función hace exactamente lo que necesita.

No es un trazador de líneas. Pero funciona con archivos de texto de cualquier tamaño (excepto el tamaño cero, tal vez :).

def random_line(filename) 
    blocksize, line = 1024, "" 
    File.open(filename) do |file| 
    initial_position = rand(File.size(filename)-1)+1 # random pointer position. Not a line number! 
    pos = Array.new(2).fill(initial_position) # array [prev_position, current_position] 
    # Find beginning of current line 
    begin 
     pos.push([pos[1]-blocksize, 0].max).shift # calc new position 
     file.pos = pos[1] # move pointer backward within file 
     offset = (n = file.read(pos[0] - pos[1]).rindex(/\n/)) ? n+1 : nil 
    end until pos[1] == 0 || offset 
    file.pos = pos[1] + offset.to_i 
    # Collect line text till the end 
    begin 
     data = file.read(blocksize) 
     line.concat((p = data.index(/\n/)) ? data[0,p.to_i] : data) 
    end until file.eof? or p 
    end 
    line 
end 

Inténtelo:

filename = "huge_text_file.txt" 
100.times { puts random_line(filename).force_encoding("UTF-8") } 

despreciable (francamente) inconvenientes:

1. la larga sea la línea, mayor será la probabilidad de que va a ser recogido.

2. no tiene en cuenta el separador de líneas "\ r" (específico de Windows). ¡Usa archivos con terminaciones de líneas estilo Unix!