Descomprimir solo un bloque bzip2 específico

Question

Digamos que tengo un archivo bzip2 (más de 5GB), y quiero descomprimir solo el bloque #x, porque allí están mis datos (el bloqueo es diferente cada vez). ¿Cómo haría esto?

Pensé en hacer un índice de dónde están todos los bloques, luego cortar el bloque que necesito del archivo y aplicarle bzip2recover.

También pensé en comprimir digamos 1MB a la vez, luego anexar esto a un archivo (y registrar la ubicación), y simplemente tomar el archivo cuando lo necesito, pero prefiero mantener el archivo original bzip2 intacto.

Mi idioma preferido es Ruby, pero la solución de cualquier idioma está bien para mí (siempre que entienda el principio).

Answer 1

Hay una http://bitbucket.org/james_taylor/seek-bzip2

Grab la fuente, compilarlo.

Ejecutar con

./seek-bzip2 32 < bzip_compressed.bz2 

a prueba.

el único parámetro es el desplazamiento de bit de la cabecera del bloque. Puede obtenerlo con la búsqueda de una cadena hexadecimal "31 41 59 26 53 59" en el archivo binario. ESTO FUE INCORRECTO. El inicio del bloque puede no estar alineado con el límite de bytes, por lo que debe buscar todos los cambios de bit posibles de la cadena hexadecimal "31 41 59 26 53 59", como se hace en bzip2recover - http://www.bzip.org/1.0.3/html/recovering.html

32 es el tamaño de bit de "BZh1 "encabezado donde 1 puede ser cualquier dígito desde" 1 "hasta" 9 "(en el clásico bzip2) - es un tamaño de bloque (sin comprimir) en cientos de kb (no exacto).

Answer 2

Es cierto que bzip-table es casi tan lento como descomprimir pero, por supuesto, solo tiene que hacerlo una vez y puede almacenar la salida de alguna manera para utilizarla como índice. Esto es perfecto para lo que necesito, pero puede que no sea lo que todo el mundo necesita.

Aunque necesité un poco de ayuda para compilar en Windows.