incapaz de verificar nodos en hadoop [Conexión rechazada]

Question

Si escribo http://localhost:50070 o http://localhost:9000 para ver los nodos, mi navegador no me muestra nada, creo que no se puede conectar al servidor. Probé mi hadoop con este comando:

hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000 

pero no funcionó demasiado y trata de conectar con el servidor, esta es la salida:

12/06/06 17:25:24 INFO mapred.FileInputFormat: nrFiles = 10 
12/06/06 17:25:24 INFO mapred.FileInputFormat: fileSize (MB) = 1000 
12/06/06 17:25:24 INFO mapred.FileInputFormat: bufferSize = 1000000 
12/06/06 17:25:25 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s). 
12/06/06 17:25:26 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s). 
12/06/06 17:25:27 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 2 time(s). 
12/06/06 17:25:28 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 3 time(s). 
12/06/06 17:25:29 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 4 time(s). 
12/06/06 17:25:30 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 5 time(s). 
12/06/06 17:25:31 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 6 time(s). 
12/06/06 17:25:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 7 time(s). 
12/06/06 17:25:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 8 time(s). 
12/06/06 17:25:34 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s). 
java.net.ConnectException: Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException: Connection refused 

he cambiado algunos archivos de la siguiente manera: en conf/core-site.xml:

<configuration> 
    <property> 
    <name>fs.default.name</name> 
    <value>hdfs://localhost:9000</value> 
    </property> 

en conf/hdfs-site.xml:

<configuration> 
    <property> 
    <name>dfs.replication</name> 
    <value>1</value> 
    </property> 
</configuration> 
</configuration> 

en conf/mapred-site.xml:

<configuration> 
    <property> 
    <name>mapred.job.tracker</name> 
    <value>localhost:9001</value> 
    </property> 
</configuration> 

Hey Guys Thnks por su atención, Si ejecuta este comando

cat /etc/hosts 

que veo:

127.0.0.1 localhost 
127.0.1.1 ubuntu.ubuntu-domain ubuntu 

# The following lines are desirable for IPv6 capable hosts 
::1  ip6-localhost ip6-loopback 
fe00::0 ip6-localnet 
ff00::0 ip6-mcastprefix 
ff02::1 ip6-allnodes 
ff02::2 ip6-allrouters 

y si ejecuto este:

ps axww | grep hadoop 

Veo este resultado:

2170 pts/0 S+  0:00 grep --color=auto hadoop 

pero ningún efecto ¿Tiene usted alguna Idee, ¿Cómo puedo resolver mi problema?

Answer 1

Hay algunas cosas de las que debe ocuparse antes de iniciar los servicios de hadoop.

Comprobar lo que esto devuelve:

hostname --fqdn 

En su caso esto debe ser localhost. También comente IPV6 en/etc/hosts.

Formateó el namenode antes de iniciar HDFS.

hadoop namenode -format 

Cómo instalaste Hadoop. La ubicación de los archivos de registro dependerá de eso. Usualmente está en la ubicación "/ var/log/hadoop /" si usaste la distribución de cloudera.

Si eres un novato completo, te sugiero que instales Hadoop usando Cloudera SCM, que es bastante fácil. He publicado my approach in installing Hadoop con la distribución de Cloudera.

también

Asegúrese de ubicación DFS tiene un permiso de escritura . Por lo general, se encuentra @/usr/local/hadoop_store/hdfs

Esa es una razón común.

Answer 2

Supongo que es su primera instalación de hadoop.

Al principio, compruebe si sus daemons están funcionando. Para hacer eso use (en terminal):

jps 

Si solo aparece jps significa que todos los daemons están caídos. Por favor revisa los archivos de registro. Especialmente el namenode. La carpeta de registro está probablemente en algún lugar/usr/lib/hadoop/logs

Si tiene algunos problemas de permisos. Use esta guía durante la instalación.

Good installation guide

estoy rodando con esta explicación, pero estos son los problemas más comunes.

Answer 3

también edite su archivo/etc/hosts y cambie 127.0.1.1 a 127.0.0.1 ... la resolución de dns adecuada es muy importante para hadoop y un poco complicada también ... también añada la siguiente propiedad en su core-site.xml archivo -

<property> 
     <name>hadoop.tmp.dir</name> 
     <value>/path_to_temp_directory</value> 
    </property> 

la ubicación predeterminada de esta propiedad es el directorio/tmp que consiguen vaciarse después de cada sistema restart..so de que pierda toda su información en cada restart..also añadir estas propiedades en sus hdfs-site.xml archivo -

<property> 
     <name>dfs.name.dir</name> 
     <value>/path_to_name_directory</value> 
    </property> 

    <property> 
     <name>dfs.data.dir</name> 
     <value>/path_to_data_directory</value> 
    </property> 

Answer 4

mismo problema que tengo y esto resolvió mi problema:

problema radica en el permiso dado a las carpetas "chmod" 755 o mayor para las carpetas /home/usuario/hadoop/*

Answer 5

Otra posibilidad es la NameNode no se está ejecutando.

Puede eliminar los archivos HDFS:

rm -rf /tmp/hadoop* 

a formatear el HDFS

bin/hadoop namenode -format 

y reiniciar los servicios de Hadoop

bin/hadoop/start-all.sh (Hadoop 1.x) 

o

sbin/hadoop/start-all.sh (Hadoop 2.x) 

Answer 6

Hola Edite su core conf/core-site.xml y cambie localhost a 0.0.0.0. Usa el conf abajo Eso debería funcionar.

<configuration> 
    <property> 
    <name>fs.default.name</name> 
    <value>hdfs://0.0.0.0:9000</value> 
    </property>