Hadoop dfs -ls devuelve la lista de archivos en mi directorio/directorio

Question

He configurado una configuración Hadoop de sigle-nodo que se ejecuta mediante cygwin bajo Win7. Después de iniciar Hadoop por

bin/start-all.sh

ejecuto

bin/hadoop dfs -ls

que me devuelve una lista de archivos en mi directorio hadoop. Luego ejecuto

bin/hadoop datanode -format
bin/hadoop namenode -format

pero todavía me devuelve el contenido de mi directorio hadoop. Por lo que yo entiendo, no debería devolver nada (carpeta vacía). ¿Qué estoy haciendo mal?

Answer 1

¿Editó core-site.xml y mapred-site.xml en la carpeta conf? Parece que su clúster hadoop está en modo local.

Answer 2

Tuve el mismo problema y lo resolví especificando explícitamente la URL al NameNode.

para listar todos los directorios en la raíz de su espacio hdfs haga lo siguiente:

./bin/hadoop dfs -ls hdfs://<ip-of-your-server>:9000/ 

La documentación dice algo acerca de un defecto hdfs apuntan en la configuración, pero no puedo encontrarlo. Si alguien sabe lo que quieren decir, por favor, ilumínanos.

Esto es donde me dieron la información: http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html#Overview

Answer 3

O usted podría hacer: stop-all.sh

• Ejecutar.
• eliminar los datos de DFS y directorios con nombres
• NameNode -format
• Run start-all.sh

Answer 4

Sé que esta pregunta es bastante antiguo, pero la estructura de directorios en Hadoop ha cambiado un poco (versión 2.5) La versión actual de Jeroen sería.

hdfs DFS -ls hdfs: // localhost: 9000/usuarios/smalldata

también acaba de información - uso de start-all.sh y stop-all.sh ha quedado en desuso, en lugar uno debería utilice start-dfs.sh y start-yarn.sh