Apache POI 3.7 OutOfMemoryError: espacio de pila de Java al escribir en un gran número de filas en archivos xlsx

Question

Necesito escribir un conjunto de resultados de más de 65000 filas en el archivo xlsx. Así que estoy tratando de usar Apache POI 3.7. Pero obtengo el error de OutOfMemoryError: espacio de pila de Java. ¿Cómo resuelvo este problema además de aumentar la memoria JVM que no parece resolver el problema? Por favor ayuda.

simple código de ejemplo:

public static void main(String[] args) throws IOException { 
     Workbook wb = new XSSFWorkbook(); 
     CreationHelper createHelper = wb.getCreationHelper(); 
     Sheet sheet = wb.createSheet("new sheet"); 

     // Create a row and put some cells in it. Rows are 0 based. 
     for (int i=0;i<65000;i++){ 
      Row row = sheet.createRow((int) i); 
     // Create a cell and put a value in it. 
     Cell cell = row.createCell(0); 
     cell.setCellValue(1); 

     // Or do it on one line. 
     row.createCell(1).setCellValue(1.2); 
     row.createCell(2).setCellValue(
       createHelper.createRichTextString("This is a string")); 
     row.createCell(3).setCellValue(true); 
     } 


     // Write the output to a file 
     FileOutputStream fileOut = new FileOutputStream("test1.xls"); 
     fileOut.flush(); 
     wb.write(fileOut); 
     fileOut.close(); 
    } 

Answer 1

Es posible que desee echa un vistazo a lo que el proyecto POI hizo recientemente con el SXSSF API. También hay una sección en el How-To.
Para el código de ejemplo que proporcionó, este sería el ajuste perfecto, ya que solo crea datos y luego se olvida de ellos después de la creación. Con la extensión SXSSF puede comenzar a escribir los datos en el archivo de inmediato. Esto mantiene la huella de memoria baja.

Tenga en cuenta que esta característica no está presente en Apache POI 3.7 pero se agregó en Apache POI 3.8 beta 3.
Versión final 3.8 actualmente se está votando. Entonces, si tiene que usar una versión final, no debería pasar demasiado tiempo antes de que se lance.

Answer 2

Tengo el mismo problema, esto no es una solución pero funciona, creo diferentes archivos de Excel y luego los fusiono manualmente, sé que esta no es una buena solución, pero como era urgente para mí no tuve otra opción.

Puede hacer esto de dos maneras diferentes:

1.- Crear un nuevo archivo una vez yoi han alcanzado las 3000 filas:

XSSFWorkbook wb = new XSSFWorkbook(); 
fileOut = new FileOutputStream("file1.xlsx"); 
fileOut = new FileOutputStream("file2.xlsx");... 

puede agregar a este en una declaración para crearlos Dinámicamente, una vez que haya alcanzado los primeros 3000 registros guarde el archivo y continúe escribiendo en el próximo.

2.- Delimitar los registros conjunto de resultados o de origen para obtener menos de 3000 registros, y ejecutar de nuevo el programa entero, pero con una serie de consultas diferente cada vez:

between recNum = 1 and recNum <=100 

la siguiente ejecución será:

between recNum > 100 and recNum <= 200 

Esto es solo un ejemplo, espero que esto pueda serle útil.