Pregunta muy básica sobre Hadoop y archivos de entrada comprimidos

Question

He empezado a buscar en Hadoop. Si mi entendimiento es correcto, podría procesar un archivo muy grande y se dividiría entre diferentes nodos; sin embargo, si el archivo está comprimido, entonces el archivo no se podría dividir y debería procesarse por un solo nodo (lo que efectivamente destruiría la ventaja de ejecutando un mapreduce ver un cluster de máquinas paralelas).

Mi pregunta es, suponiendo que lo anterior sea correcto, ¿es posible dividir un archivo grande manualmente en trozos de tamaño fijo o trozos diarios, comprimirlos y luego pasar una lista de archivos de entrada comprimidos para realizar un mapreduce?

Answer 1

sí, podría tener un archivo comprimido grande o varios archivos comprimidos (varios archivos especificados con -files o la API).

TextInputFormat y sus descendientes deberían manejar automáticamente los archivos comprimidos .gz. también se puede poner en práctica su propia (que dividir el archivo de entrada en trozos para su procesamiento) y RecordReader (que extraen un registro a la vez desde el trozo)

otra alternativa para copmression genérica podría ser el uso de un sistema de archivos comprimido InputFormat (como ext3 con el parche de compresión, zfs, compFUSEd o FuseCompress ...)

Answer 2

Puede usar bz2 como su códec de compresión, y este formato también se puede dividir.

Answer 3

Considere el uso de compresión LZO. Es divisible. Eso significa que un gran archivo .lzo puede ser procesado por muchos mapeadores. Bzip2 puede hacer eso, pero es lento.

Cloudera tenía introduction al respecto. Para MapReduce, LZO suena un buen equilibrio entre la relación de compresión y la velocidad de compresión/descompresión.

Answer 4

BZIP2 es divisible en hadoop - que ofrece muy buena relación de compresión, sino de tiempo de CPU y actuaciones no está proporcionando resultados óptimos, ya que la compresión es muy consumidora de la CPU.

lzo es divisible en hadoop - aprovechando hadoop-lzo archivos LZO que haya divisible comprimido. Necesita tener archivos .lzo.index externos para poder procesar en paralelo. La biblioteca proporciona todos los medios para generar estos índices en forma local o distribuida.

LZ4 es divisible en hadoop - aprovechando hadoop-4mc archivos 4MC que haya divisible comprimido. No necesita ninguna indexación externa, y puede generar archivos con la herramienta de línea de comandos proporcionada o con el código Java/C, dentro/fuera de hadoop. 4mc está disponible en hadoop LZ4 en cualquier nivel de relación velocidad/compresión: desde el modo rápido que alcanza una velocidad de compresión de 500 MB/s hasta modos alto/ultra que proporciona una mayor relación de compresión, casi comparable con GZIP one.