HDFS: ¿Cómo se enumeran los archivos recursivamente?

Question

¿Cómo, a través de Java, enumera todos los archivos (recursivamente) bajo una ruta determinada en HDFS. Revisé la API y noté FileSystem.listFiles (Path, boolean) pero parece que ese método no existe en mi instancia de FileSystem cuando lo inicializo.

Answer 1

Usted puede mirar en el origen de org.apache.hadoop.fs.FsShell.ls(FileStatus, FileSystem, boolean, boolean) para su versión de Hadoop - esto es lo que se llama cuando se realiza una hadoop fs -lsr path desde la línea de comandos

• 0.20.2 - línea 593
• 1.0.2 - línea 590

Answer 2

hadoop-user@hadoop-desk ~/hadoop 
$ bin/hadoop fs -lsr /user/someone_else/myfiles 

-rw-r--r-- 1 hadoop-user supergroup   0 2013-11-26 02:09 /user/someone_else/myfiles/file1.txt 

-rw-r--r-- 1 hadoop-user supergroup   0 2013-11-26 02:09 /user/someone_else/myfiles/file2.txt 

drwxr-xr-x - hadoop-user supergroup   0 2013-11-26 02:09 /user/someone_else/myfiles/subdir 

-rw-r--r-- 1 hadoop-user supergroup   0 2013-11-26 02:09 /user/someone_else/myfiles/subdir/anotherFile.txt 

Answer 3

uso -R seguido de comando ls para listar los archivos/directorires de forma recursiva.

hadoop fs -ls -R Path/Of/File 

atributos posibles para comando ls son

-d: Los directorios se muestran como archivos planos.

-h "Formatos de los tamaños de los archivos de una forma legible por humanos en lugar de un número de bytes.

-R" recursivamente mostrar el contenido de directorios.