Cómo dividir un archivo CSV en varios fragmentos y leer esos fragmentos en paralelo en el código Java

Question

Tengo un archivo CSV muy grande (1GB +), tiene 100.000 líneas.

Necesito escribir un programa Java para analizar cada línea desde el archivo CSV para crear un cuerpo para una solicitud HTTP para enviar.

En otras palabras, necesito enviar 100.000 solicitudes HTTP que corresponden a las líneas en el archivo CSV. Va a ser muy largo si hago esto en un solo hilo.

Me gustaría crear 1,000 hilos para hacer i) leer una línea del archivo CSV, ii) crear una solicitud HTTP cuyo cuerpo contiene el contenido de la línea de lectura, y iii) enviar la solicitud HTTP y recibir respuesta.

De esta forma, necesito dividir el archivo CSV en 1.000 fragmentos, y esos fragmentos no deben tener líneas superpuestas entre sí.

¿Cuál es la mejor manera de dividir este procedimiento?

Answer 1

Leer simultáneamente un solo archivo en varias posiciones no le permitiría avanzar más rápido (pero podría ralentizar) usted abajo considerablemente).

En lugar de leer el archivo de varios subprocesos, lea el archivo de un único subproceso y paralelice el procesando de estas líneas. Un hilo de singe debería leer su CSV línea por línea, y poner cada línea en una cola. Múltiples hilos de trabajo deberían tomar la siguiente línea de la cola, analizarla, convertirla en una solicitud y procesar la solicitud al mismo tiempo según sea necesario. La división del trabajo se haría con un solo hilo, asegurando que no faltan líneas o superposiciones.

Answer 2

Puede tener un hilo que lea las líneas del CSV y construya una Lista de líneas leídas. Cuando esto alcanza algún límite, p. 100 líneas para pasar esto a un grupo de subprocesos de tamaño fijo para enviar como una solicitud.

Sospecho que, a menos que su servidor tenga 1000 núcleos, es posible que el uso de 10-100 solicitudes simultáneas sea más rápido.

Answer 3

Haga que un hilo lea el archivo línea por línea y para cada línea leída, publique una tarea en un ExecutorService para realizar la solicitud HTTP para cada uno.

Leer el archivo de varios hilos no va a funcionar, ya que para leer la línea n, primero debe leer todos los demás. (Podría funcionar en teoría si su archivo contiene registros de ancho fijo, pero CSV no tiene un formato de ancho fijo.)

Answer 4

Leer CSV archivo en un solo hilo una vez que la línea de delegado esta línea a uno de los Thread disponible en la piscina por la construcción del objeto de su Runnable Task y pasarlo a Executors'ssubmit(), que será ejecutada de forma asíncrona.

public static void main(String[] args) throws IOException { 

     String fName = "C:\\Amit\\abc.csv"; 
     String thisLine; 
     FileInputStream fis = new FileInputStream(fName); 
     DataInputStream myInput = new DataInputStream(fis); 
     ExecutorService pool=Executors.newFixedThreadPool(1000); 
     int count = 0; // Concurrent request to Server barrier 

     while ((thisLine = myInput.readLine()) != null) { 
      if (count > 150) { 
       try { 
        Thread.sleep(100); 
        count = 0; 
       } catch (InterruptedException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
       } 
      } 

      pool.submit(new MyTask(thisLine)); 
      count++; 
     } 

    } 
} 

Aquí su tarea:

class MyTask implements Runnable { 
     private String lLine; 
     public MyTask(String line) { 
      this.lLine=line; 

     } 

     public void run() { 
      // 1) Create Request lLine 
      // 2) send the HTTP request out and receive response 
     } 
} 

Answer 5

Java 8, que está prevista para el lanzamiento de este mes, se habrá mejorado el soporte para este través de corrientes paralelas y lambdas. Oracle tutorial en las transmisiones paralelas podría ser un buen punto de partida.

Tenga en cuenta que una trampa aquí es demasiado paralelismo.Para el ejemplo de recuperación de URL, es probable que sea una buena idea tener un número bajo de llamadas en paralelo. Demasiado paralelismo puede afectar no solo el ancho de banda y el sitio web al que se está conectando, sino que también correrá el riesgo de quedarse sin descriptores de archivo, que es un recurso estrictamente limitado en la mayoría de los entornos donde se ejecuta java.

Algunos marcos que pueden ayudarle son Netflix 'RxJava y Akka. Tenga en cuenta que estos marcos no son triviales y requerirá un esfuerzo para aprender.