Mezcla aleatoriamente líneas de 3 millones de archivos de línea

Question

Todo está en el título. Me pregunto si alguien sabe que una memoria rápida y razonable requiere una forma aleatoria de mezclar todas las líneas de un archivo de 3 millones de líneas. Supongo que no es posible con un simple comando vim, por lo que cualquier script simple usando Python. Intenté con Python usando un generador de números aleatorios, pero no logré encontrar una salida simple.

Answer 1

import random 
with open('the_file','r') as source: 
    data = [ (random.random(), line) for line in source ] 
data.sort() 
with open('another_file','w') as target: 
    for _, line in data: 
     target.write(line) 

Eso debería hacerlo. 3 millones de líneas caben en la memoria de la mayoría de las máquinas a menos que las líneas sean ENORMES (más de 512 caracteres).

Answer 2

Toma sólo unos pocos segundos en Python:

>>> import random 
>>> lines = open('3mil.txt').readlines() 
>>> random.shuffle(lines) 
>>> open('3mil.txt', 'w').writelines(lines) 

Answer 3

En muchos sistemas el comando shell sort toma -R selecciona aleatoriamente a su entrada.

Answer 4

Aquí hay otra versión

En la carcasa, utilízalo.

python decorate.py | sort | python undecorate.py 

decorate.py

import sys 
import random 
for line in sys.stdin: 
    sys.stdout.write("{0}|{1}".format(random.random(), line)) 

undecorate.py

import sys 
for line in sys.stdin: 
    _, _, data= line.partition("|") 
    sys.stdout.write(line) 

casi no utiliza la memoria.

Answer 5

Esto es lo mismo que el Sr. Kugelman de, pero el uso de vim interfaz integrada de Python:

:py import vim, random as r; cb = vim.current.buffer ; l = cb[:] ; r.shuffle(l) ; cb[:] = l 

Answer 6

Si lo hace no quieren cargar todo en la memoria y ordenarla allí, tienen para almacenar las líneas en el disco mientras haces la clasificación aleatoria. Eso será muy lento.

Aquí hay una versión muy simple, estúpida y lenta. Tenga en cuenta que esto puede tomar una cantidad sorprendente de espacio de disco, y será muy lento. Lo ejecuté con 300,000 líneas, y lleva varios minutos. 3 millones de líneas bien podrían tomar una hora. Entonces: hazlo en la memoria. De Verdad. No es tan grande.

import os 
import tempfile 
import shutil 
import random 
tempdir = tempfile.mkdtemp() 
print tempdir 

files = [] 
# Split the lines: 
with open('/tmp/sorted.txt', 'rt') as infile: 
    counter = 0  
    for line in infile: 
     outfilename = os.path.join(tempdir, '%09i.txt' % counter) 
     with open(outfilename, 'wt') as outfile: 
      outfile.write(line) 
     counter += 1 
     files.append(outfilename) 

with open('/tmp/random.txt', 'wt') as outfile: 
    while files: 
     index = random.randint(0, len(files) - 1) 
     filename = files.pop(index) 
     outfile.write(open(filename, 'rt').read()) 

shutil.rmtree(tempdir) 

Otra versión sería almacenar los archivos en una base de datos SQLite y extraer las líneas al azar de esa base de datos. Eso probablemente sea más rápido que esto.

Answer 7

Acabo de probar esto en un archivo con 4.3M de líneas y lo más rápido fue el comando 'shuf' en Linux. Úselo así:

shuf huge_file.txt -o shuffled_lines_huge_file.txt 

Tardó 2-3 segundos para terminar.

Answer 8

Aquí es otra manera usando random.choice, esto puede proporcionar alguna memoria gradual aliviar también, pero con un peor Big-O :)

from random import choice 

with open('data.txt', 'r') as r: 
    lines = r.readlines() 

with open('shuffled_data.txt', 'w') as w: 
    while lines: 
     l = choice(lines) 
     lines.remove(l) 
     w.write(l) 

Answer 9

Los siguientes Vimscript puede ser utilizado para intercambiar líneas:

function! Random()              
    let nswaps = 100              
    let firstline = 1              
    let lastline = 10              
    let i = 0                
    while i <= nswaps              
    exe "let line = system('shuf -i ".firstline."-".lastline." -n 1')[:-2]" 
    exe line.'d'               
    exe "let line = system('shuf -i ".firstline."-".lastline." -n 1')[:-2]" 
    exe "normal! " . line . 'Gp'           
    let i += 1               
    endwhile                
endfunction 

Seleccione la función en modo visual y escriba :@" luego ejecutarlo con :call Random()