Hadoop DistCp usando comodines?

Question

¿Es posible usar DistCp para copiar solo los archivos que coinciden con un determinado patrón? Por ejemplo. Para/foo solo quiero archivos * .log.

Answer 1

DistCp es, de hecho, solo un trabajo regular de reducción de mapas: puede utilizar la misma sintaxis globbing que usaría para la entrada de un trabajo normal de reducción de mapas. En general, puede usar foo/*.log y eso debería ser suficiente. Puede experimentar con la instrucción hadoop fs -ls aquí - si el globbing funciona con fs -ls, entonces si funcionará con DistCp (bueno, casi, pero las diferencias son bastante sutiles de mencionar).

Answer 2

Me doy cuenta de que este es un hilo viejo. Pero yo también estaba interesado en la respuesta a esta pregunta, y dk89 también me preguntó nuevamente en 2013. Así que aquí vamos:

distcp no admite comodines. Lo más cerca que se puede hacer es:

encontrar los archivos que desea copiar (fuentes), el filtro y luego usando grep, formato para hdfs usando awk, y enviar el resultado a un "insumo-archivos" lista:

hadoop dfs -lsr hdfs://localhost:9000/path/to/source/dir/ 
    | grep -e webapp.log.3. | awk '{print "hdfs\://localhost\:9000/" $8'} > input-files.txt 

Ponga la lista de entrada-archivos en hdfs

hadoop dfs -put input-files.txt . 

Crear el directorio de destino

hadoop dfs -mkdir hdfs://localhost:9000/path/to/target/ 

Run distcp utilizando la lista de archivos de entrada y especificando el directorio hdfs de destino:

hadoop distcp -i -f input-files.txt hdfs://localhost:9000/path/to/target/