¿Cómo dividir un archivo de texto grande en archivos más pequeños con igual cantidad de líneas?

Question

Tengo un gran archivo de texto plano (por número de líneas) que me gustaría dividir en archivos más pequeños, también por número de líneas. Entonces, si mi archivo tiene alrededor de 2M líneas, me gustaría dividirlo en 10 archivos que contienen 200k líneas, o 100 archivos que contienen 20k líneas (más un archivo con el resto, ser igual de divisible no importa).

Podría hacer esto bastante fácilmente en Python, pero me pregunto si hay algún tipo de forma ninja para hacerlo utilizando utilidades bash y unix (a diferencia de las líneas de bucle y recuento/división manual).

Answer 1

¿Has mirado el comando dividir?

$ split --help 
Usage: split [OPTION] [INPUT [PREFIX]] 
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default 
size is 1000 lines, and default PREFIX is `x'. With no INPUT, or when INPUT 
is -, read standard input. 

Mandatory arguments to long options are mandatory for short options too. 
    -a, --suffix-length=N use suffixes of length N (default 2) 
    -b, --bytes=SIZE  put SIZE bytes per output file 
    -C, --line-bytes=SIZE put at most SIZE bytes of lines per output file 
    -d, --numeric-suffixes use numeric suffixes instead of alphabetic 
    -l, --lines=NUMBER  put NUMBER lines per output file 
     --verbose   print a diagnostic to standard error just 
          before each output file is opened 
     --help  display this help and exit 
     --version output version information and exit 

Se podría hacer algo como esto:

split -l 200000 filename 

que creará archivos cada uno con 200.000 líneas nombradas xaa xab xac ...

Otra opción, dividido por el tamaño del archivo de salida (todavía escisiones en saltos de línea):

split -C 20m --numeric-suffixes input_filename output_prefix 

crea archivos como output_prefix01 output_prefix02 output_prefix03 ... cada uno de un tamaño máximo de 20 megabytes.

Answer 2

uso split

dividir un archivo en trozos de tamaño fijo, crea archivos de salida que contienen secciones consecutivas de entrada (entrada estándar si no se da ninguno o INPUT es `- ')

Syntax split [options] [INPUT [PREFIX]]

http://ss64.com/bash/split.html

Answer 3

¿Y el split comando?

split -l 200000 mybigfile.txt 

Answer 4

Sí, hay un comando split. Se dividirá un archivo por líneas o bytes.

$ split --help 
Usage: split [OPTION]... [INPUT [PREFIX]] 
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default 
size is 1000 lines, and default PREFIX is `x'. With no INPUT, or when INPUT 
is -, read standard input. 

Mandatory arguments to long options are mandatory for short options too. 
    -a, --suffix-length=N use suffixes of length N (default 2) 
    -b, --bytes=SIZE  put SIZE bytes per output file 
    -C, --line-bytes=SIZE put at most SIZE bytes of lines per output file 
    -d, --numeric-suffixes use numeric suffixes instead of alphabetic 
    -l, --lines=NUMBER  put NUMBER lines per output file 
     --verbose   print a diagnostic just before each 
          output file is opened 
     --help  display this help and exit 
     --version output version information and exit 

SIZE may have a multiplier suffix: 
b 512, kB 1000, K 1024, MB 1000*1000, M 1024*1024, 
GB 1000*1000*1000, G 1024*1024*1024, and so on for T, P, E, Z, Y. 

Answer 5

también se puede usar awk

awk -vc=1 'NR%200000==0{++c}{print $0 > c".txt"}' largefile 

Answer 6

Uso:

sed -n '1,100p' filename > output.txt 

Aquí, 1 y 100 son los números de línea que se va a capturar en output.txt.

Answer 7

En caso de que solo quiera dividir por x número de líneas cada archivo, las respuestas dadas sobre split son correctas. Pero tengo curiosidad de que nadie haya prestado atención a algunos requisitos por parte de Asker.

• "Sin mayores tienen que contar con ellos" -> usando wc + cortar
• "tener el resto en archivo extra" -> Split hace por defecto

Actualmente estoy usando ese:

split -l $(expr `wc $filename | cut -d ' ' -f3`/$chunks) $filename 

Esto se puede agregar fácilmente a sus funciones bashrc por lo que sólo puede invocar pasando nombre de archivo y trozos:

split -l $(expr `wc $1 | cut -d ' ' -f3`/$2) $1 

En caso de que desee simplemente x fragmentos sin resto en el archivo adicional, simplemente adapte la fórmula para sumarlo (fragmentos - 1) en cada archivo. Hago uso de este enfoque porque por lo general sólo quiero x número de archivos en lugar de líneas x por archivo:

split -l $(expr `wc $1 | cut -d ' ' -f3`/$2 + `expr $2 - 1`) $1 

Usted puede añadir que a un guión y decir que es su "camino ninja", porque si nada adapte a sus necesidades , usted puede construirlo :-)

Answer 8

HDFS getmerge archivo pequeño y se derramó en el tamaño de la propiedad.

Este método hará que la línea romper

dividida -b 125m compact.file -d -a 3 compact_prefix

Trato de getmerge y se dividió en aproximadamente 128 MB cada archivo.

dividido en 128m, juez sizeunit es M o G, por favor prueba antes de su uso.

begainsize=`hdfs dfs -du -s -h /externaldata/$table_name/$date/ | awk '{ print $1}' ` 
sizeunit=`hdfs dfs -du -s -h /externaldata/$table_name/$date/ | awk '{ print $2}' ` 
if [ $sizeunit = "G" ];then 
    res=$(printf "%.f" `echo "scale=5;$begainsize*8 "|bc`) 
else 
    res=$(printf "%.f" `echo "scale=5;$begainsize/128 "|bc`) # celling ref http://blog.csdn.net/naiveloafer/article/details/8783518 
fi 
echo $res 
# split into $res files with number suffix. ref http://blog.csdn.net/microzone/article/details/52839598 
compact_file_name=$compact_file"_" 
echo "compact_file_name :"$compact_file_name 
split -n l/$res $basedir/$compact_file -d -a 3 $basedir/${compact_file_name} 

Answer 9

dividir el archivo "archivo.txt" en 10000 líneas de archivos:

split -l 10000 file.txt