Análisis de CSV rápido

Question

Tengo una aplicación de servidor de Java que descarga archivos CSV y los analiza. El análisis puede tomar de 5 a 45 minutos, y ocurre cada hora. Este método es un cuello de botella de la aplicación, por lo que no es una optimización prematura. El código hasta ahora:

 client.executeMethod(method); 
     InputStream in = method.getResponseBodyAsStream(); // this is http stream 

     String line; 
     String[] record; 

     reader = new BufferedReader(new InputStreamReader(in), 65536); 

     try { 
      // read the header line 
      line = reader.readLine(); 
      // some code 
      while ((line = reader.readLine()) != null) { 
       // more code 

       line = line.replaceAll("\"\"", "\"NULL\""); 

       // Now remove all of the quotes 
       line = line.replaceAll("\"", "");  


       if (!line.startsWith("ERROR"){ 
        //bla bla 
        continue; 
       } 

       record = line.split(","); 
       //more error handling 
       // build the object and put it in HashMap 
     } 
     //exceptions handling, closing connection and reader 

¿Existe alguna biblioteca que me ayude a acelerar las cosas? ¿Puedo mejorar el código existente?

Answer 1

Apache Commons CSV

Ha visto Apache Commons CSV?

Advertencia Sobre la utilización de split

Otra cosa a tener en cuenta es que split sólo devuelve una vista de los datos, lo que significa que el objeto original line no es elegible para la recolección de basura, mientras que hay una referencia a cualquiera de sus puntos de vista. Quizás hacer una copia defensiva ayudará? (Java bug report)

Answer 2

opencsv

Tome un vistazo a opencsv.

Esta publicación de blog, opencsv is an easy CSV parser, tiene un uso de ejemplo.

Answer 3

opencsv

Usted debe echar un vistazo a OpenCSV. Esperaría que tengan optimizaciones de rendimiento.

Answer 4

Además de las sugerencias anteriores, creo que puede intentar mejorar su código utilizando algunos subprocesos y simultaneidad.

siguiente es el breve análisis y la solución sugerida

1. A partir del código parece que usted está leyendo los datos por la red (más posiblemente apache-common-httpclient lib).
2. Debe asegurarse de que el cuello de botella que está diciendo no se encuentre en la transferencia de datos a través de la red.
3. Una forma de verlo es simplemente volcar los datos en algún archivo (sin análisis) y ver cuánto se necesita. Esto le dará una idea de cuánto tiempo realmente se gasta en el análisis (en comparación con la observación actual).
4. Ahora eche un vistazo a cómo se usa el paquete java.util.concurrent. Algunos de los enlaces que puede usar son (1, 2)
5. Lo que puede hacer es que las tareas que realiza en for loop se pueden ejecutar en un hilo.
6. El uso de threadpool y la concurrencia mejorarán en gran medida su rendimiento.

Aunque la solución implica un poco de esfuerzo, pero al final esto te ayudará.

Answer 5

El problema de su código es que está usando replaceAll y split, que son operaciones muy costosas. Definitivamente debería considerar el uso de un analizador/lector de csv que realice un análisis de una sola pasada.

Hay un punto de referencia en github

https://github.com/uniVocity/csv-parsers-comparison

que, lamentablemente, se corrió bajo java 6. El número son ligeramente diferentes en virtud de Java 7 y 8. Estoy tratando de conseguir más datos de detalle de archivo diferente tamaño pero es un trabajo en curso

ver https://github.com/arnaudroger/csv-parsers-comparison

Answer 6

me han implementado analizador CSV bastante rápido, echar un vistazo a https://github.com/titorenko/quick-csv-streamer