En Java, ¿hay alguna manera de aleatorizar un archivo demasiado grande para que quepa en la memoria?

Question

Lo que me gustaría hacer es mezclar las filas (leer de CSV), luego imprimir las primeras 10.000 filas aleatorias a una csv y el resto a una csv por separado. Con un archivo más pequeño que puedo hacer algo como

java.util.Collections.shuffle(...) 
for (int i=0; i < 10000; i++) printcsv(...) 
for (int i=10000; i < data.length; i++) printcsv(...) 

Sin embargo, con archivos muy grandes ahora consigo OutOfMemoryError

Answer 1

Aquí es posible un algoritmo:

1. Let MAX_LINES sea el número máximo de líneas en un archivo manejable;
2. Lea MAX_LINES del archivo de entrada, aleatorícelos con su algoritmo original y escríbalos en un archivo temporal;
3. Repita 2. hasta que no queden líneas en su archivo de entrada;
4. Deje que N sea un número aleatorio entre 0 y la cantidad de archivos temporales que escribió; lea la siguiente línea del N-ésimo archivo temporal;
5. Repita 4. hasta que lea todas las líneas de todos los archivos; las primeras 10.000 veces que escriba cada línea en el primer archivo de salida, escriba todas las demás líneas en el otro archivo.

Answer 2

Usted podría:

• uso más memoria o

• no aleatoria las filas de CSV reales, pero solo una colección de números de fila, y luego leer el archivo de entrada línea por línea (en búfer, por supuesto) y escribir la línea en una de las líneas archivos de salida conectados.

Answer 3

Utilice algún tipo de esquema de indexación. Analice su archivo CSV una vez para obtener el número de filas (no retenga nada en la memoria, simplemente analice) y elija 10,000 números de ese rango al azar (asegúrese de evitar duplicados, por ejemplo con un Set<Integer> o algo más sofisticado)) Luego analice su CSV por segunda vez, manteniendo una vez más un contador para las filas. Si un número de fila corresponde a uno de sus números elegidos al azar, déjelo en un archivo CSV. Imprima las filas con un número que no coincida con el otro archivo.

Answer 4

1. Antes que nada, cuente el número de líneas en el archivo de entrada leyendo sus contenidos (pero no almacenándolos en la memoria). Llame al número de líneas N.
2. Take a random sample del tamaño 10,000 de los números 1 .. N.
3. Lea el archivo de entrada desde el principio. Para cada línea, si el número de línea está en la muestra extraída en el paso 2, escriba la línea en file1; de lo contrario, escríbalo al file2.

Paso 2 se puede lograr mientras de realizar el paso 1 mediante el uso de reservoir sampling.

Answer 5

Si conoce el número de líneas en su archivo y si está aleatorizando filas completas, puede aleatorizar por número de línea y luego leer esa fila seleccionada. Simplemente seleccione una línea al azar a través de la clase Random y almacene la lista de números aleatorios, para que no elija uno dos veces.

BufferedReader reader = new BufferedReader(new FileReader(new File("file.cvs"))); 
BufferedWriter chosen = new BufferedWriter(new FileWriter(new File("chosen.cvs"))); 
BufferedWriter notChosen = new BufferedWriter(new FileWriter(new File("notChosen.cvs"))); 

int numChosenRows = 10000; 
long numLines = 1000000000; 

Set<Long> chosenRows = new HashSet<Long>(numChosenRows+1, 1); 
for(int i = 0; i < numChosenRows; i++) { 
    while(!chosenRows.add(nextLong(numLines))) { 
     // add returns false if the value already exists in the Set 
    } 
} 

String line; 
for(long lineNo = 0; (line = reader.readLine()) != null; lineNo++){ 
    if(chosenRows.contains(lineNo)){ 
     // Do nothing for the moment 
    } else { 
     notChosen.write(line); 
    } 
} 

// Randomise the set of chosen rows 

// Use RandomAccessFile to write the rows in that order 

Ver this answer para el método nextLong, que produce una aleatoria larga reducido a un tamaño particular.

Editar: Como la mayoría de las personas, pasé por alto el requisito de escribir las líneas seleccionadas al azar en un orden aleatorio. Supongo que RandomAccessFile me ayudaría con eso. Simplemente aleatorice la Lista con las filas elegidas y acceda a ellas en ese orden. En cuanto a los no elegidos, edité el código anterior para simplemente ignorar los elegidos.

Answer 6

Puede mapear la memoria del archivo y encontrar todas las líneas nuevas, almacenar en una matriz de int o long donde se encuentran. Cree una matriz de índices int y revíselos. Esto debería usar aproximadamente 8-32 bytes por línea. Si esto no cabe en la memoria, también puede usar archivos mapeados en memoria para estas matrices.