Dividir un archivo de texto grande en 200 archivos txt más pequeños en una expresión regular mediante script de shell en BASH

Question

Hola chicos, espero que el tema sea lo suficientemente claro, no he encontrado nada específicamente sobre esto en el contenedor previamente solicitado. Intenté implementar esto en Perl o Python, pero creo que podría estar intentando demasiado.

¿Hay un simple comando shell/oleoducto que dividir mi archivo .txt 4 MB en archivos .txt independiente, basado en un principio y el final de expresiones regulares?

Proporciono una pequeña muestra del archivo a continuación ... para que pueda ver que cada "historia" comienza con la frase "X de XXX DOCUMENTOS", que podría utilizarse para dividir el archivo.

creo que esto debe ser fácil y me sorprendería si bash no puede hacerlo - más rápido que Perl/Py.

aquí está:

      1 of 999 DOCUMENTS 


       Copyright 2011 Virginian-Pilot Companies LLC 
          All Rights Reserved 
        The Virginian-Pilot(Norfolk, VA.) 

... 



          3 of 999 DOCUMENTS 


        Copyright 2011 Canwest News Service 
          All Rights Reserved 
          Canwest News Service 

... 

Gracias de antemano por toda su ayuda.

Ross

Answer 1

awk '/[0-9]+ of [0-9]+ DOCUMENTS/{g++} { print $0 > g".txt"}' file 

usuarios de OSX necesitarán gawk, como la orden interna awk producirá un error como awk: illegal statement at source line 1

Rubí (1.9+)

#!/usr/bin/env ruby 
g=1 
f=File.open(g.to_s + ".txt","w") 
open("file").each do |line| 
    if line[/\d+ of \d+ DOCUMENTS/] 
    f.close 
    g+=1 
    f=File.open(g.to_s + ".txt","w") 
    end 
    f.print line 
end 

Answer 2

expresiones regulares para que coincida con "X DOCUMENTOS XXX" es
\ d {1,3} de \ d {1,3) DOCUMENTOS

línea de lectura por línea y empezar a escribir nuevo archivo sobre la coincidencia de expresiones regulares debería estar bien.

Answer 3

No comprobado:

base=outputfile 
start=1 
pattern='^[[:blank:]]*[[:digit:]]+ OF [[:digit:]]+ DOCUMENTS[[:blank:]]*$ 

while read -r line 
do 
    if [[ $line =~ $pattern ]] 
    then 
     ((start++)) 
     printf -v filecount '%4d' $start 
     >"$base$filecount" # create an empty file named like foo0001 
    fi 
    echo "$line" >> "$base$filecount" 
done 

Answer 4

¿Qué tan difícil ¿trató en Perl?

Editar Aquí hay un método más rápido. Divide el archivo y luego imprime los archivos de la parte.

use strict; 
use warnings; 

my $count = 1; 

open (my $file, '<', 'source.txt') or die "Can't open source.txt: $!"; 

for (split /(?=^.*\d+[^\S\n]*of[^\S\n]*\d+[^\S\n]*DOCUMENTS)/m, join('',<$file>)) 
{ 
    if (s/^.*(\d+)\s*of\s*\d+\s*DOCUMENTS.*(\n|$)//m) 
    { 
     open (my $part, '>', "Part$1_$count.txt") 
      or die "Can't open Part$1_$count for output: $!"; 
     print $part $_; 
     close ($part); 
     $count++; 
    } 
} 
close ($file); 

Esta es la línea por el método de línea:

use strict; 
use warnings; 

open (my $masterfile, '<', 'yourfilename.txt') or die "Can't open yourfilename.txt: $!"; 

my $count = 1; 
my $fh; 

while (<$masterfile>) { 
    if (/(?<!\d)(\d+)\s*of\s*\d+\s*DOCUMENTS/) { 
     defined $fh and close ($fh); 
     open ($fh, '>', "Part$1_$count.txt") or die "Can't open Part$1_$count for output: $!"; 
     $count++; 
     next; 
    } 
    defined $fh and print $fh $_; 
} 
defined $fh and close ($fh); 
close ($masterfile); 

Answer 5

Como se sugiere en otras soluciones, se puede usar para ese csplit:

csplit csplit.test '/^\.\.\./' '{*}' && sed -i '/^\.\.\./d' xx* 

no he encontrado una mejor manera de deshacerse del separador que recuerda en los archivos divididos.