Transmisión de Python: cómo reducir a varias salidas (su posible con Java sin embargo)

Question

leí Hadoop in Action y encontró que en Java usando MultipleOutputFormat y MultipleOutputs clases podemos reducir los datos a múltiples archivos pero lo que no estoy seguro es cómo? lograr lo mismo usando Python streaming.

por ejemplo:

   /out1/part-0000 
mapper -> reducer 
        \ out2/part-0000 

Si alguien sabe, oído, cosa similar realizado, por favor hágamelo saber

Answer 1

El Dumbo Feathers, un conjunto de clases Java para utilizar junto con Dumbo (una biblioteca de Python que hace que sea fácil escribir programas eficientes de Python M/R para hadoop), lo hace en su output classes.

Básicamente, en su trabajo python dumbo M/R, genera una clave que es una tupla de dos elementos; el primer elemento es el nombre del directorio al que se debe enviar, el segundo elemento es la clave real. La clase de salida que ha seleccionado inspecciona la tupla para encontrar qué directorio de salida usar y usa MultipleOutputFormat para escribir en diferentes subdirectorios.

Con dumbo, esto es fácil debido al uso de typedbytes como formato de salida, pero creo que debería ser factible incluso si tiene otros formatos de salida.