Para comprimir un archivo grande en un ZIP con Java

Question

Tengo la necesidad de comprimir un archivo grande (~ 450 Mbyte) a través de la clase Java ZipOutputStream. Esta gran dimensión causa un problema de error "OutOfMemory" de mi espacio de montón JVM. Esto sucede porque el método "zos.write (...)" almacena TODO el contenido del archivo para comprimirlo en una matriz de bytes interna antes de comprimirlo.

  origin = new BufferedInputStream(fi, BUFFER); 
     ZipEntry entry = new ZipEntry(filePath); 
     zos.putNextEntry(entry); 

     int count; 
     while ((count = origin.read(data, 0, BUFFER)) != -1) 
     { 
      zos.write(data, 0, count); 
     } 
     origin.close(); 

La solución natural será la de ampliar el espacio de memoria de almacenamiento dinámico de la JVM, pero me gustaría saber si hay un método para escribir estos datos en una forma de streaming. No necesito una alta tasa de compresión, así que podría cambiar el algoritmo también.

¿alguien tiene una idea al respecto?

Answer 1

Según su comentario a la respuesta de Sam, obviamente ha creado un ZipOutputStream, que envuelve un ByteArrayOutputStream. Por supuesto, ByteArrayOutputStream almacena en caché el resultado comprimido en la memoria. Si desea que se escriba en el disco, debe ajustar ZipOutputStream alrededor de FileOutputStream.

Answer 2

Hay una biblioteca llamada TrueZip que he utilizado con éxito en el pasado para hacer este tipo de cosas.

No puedo garantizar que funcione mejor en el frente del búfer. Sé que hace muchas cosas con su propia codificación en lugar de depender de la API Zip del JDK.

Así que vale la pena intentarlo, en mi opinión.

Answer 3

ZipOutputStream se basa en secuencias, no se aferra a la memoria. Su BÚFER puede ser demasiado grande.

Answer 4

Me pregunto si es porque está almacenando el contenido en un ZipEntry, quizás básicamente carga todo su contenido antes de escribir el ZipEntry. ¿Tienes que usar Zip? Si solo necesita una secuencia de datos para comprimir, puede buscar en el GZIPOutputStream. Creo que no tendría el mismo problema.

Espero que esto ayude.