División de archivos de registro descomprimidos sin almacenar los splits sin comprimir en el disco

Question

Tengo una tarea recurrente de dividir un conjunto de archivos de registro de Apache con gzip grandes (alrededor de 1-2 GiB cada uno) en varias partes (por ejemplo, fragmentos de 500K líneas). Los archivos finales se deben volver a codificar para limitar el uso del disco.

En Linux Yo suelo hacer:

zcat biglogfile.gz | split -l500000 

Los archivos resultantes archivos se nombrarán Xaa, xab, XAC, etc Así que hago:

gzip x* 

El efecto de este método es que como un resultado intermedio, estos enormes archivos se almacenan temporalmente en el disco. ¿Hay alguna manera de evitar este uso intermedio del disco?

¿Puedo (de una manera similar a lo que hace xargs) dividir la salida de la tubería a través de un comando (como gzip) y volver a comprimir la salida sobre la marcha? ¿O estoy mirando en la dirección incorrecta y hay una forma mucho mejor de hacerlo?

Gracias.

Answer 1

Puede utilizar la opción slpit --filter como se explica en el ejemplo the manual

zcat biglogfile.gz | split -l500000 --filter='gzip > $FILE.gz' 

Editar: no se dan cuenta cuando se introdujo --filter opción pero de acuerdo con los comentarios, que no está funcionando en core utils 8.4.

Answer 2

Hay zipsplit, pero eso usa el algoritmo zip en lugar del algoritmo gzip.

Answer 3

Un script como el siguiente puede ser suficiente.

#!/usr/bin/perl 
use PerlIO::gzip; 

$filename = 'out'; 
$limit = 500000; 

$fileno = 1; 
$line = 0; 

while (<>) { 
    if (!$fh || $line >= $limit) { 
     open $fh, '>:gzip', "$filename_$fileno"; 
     $fileno++; 
     $line = 0; 
    } 
    print $fh $_; $line++; 
}