Error al iniciar hadoop Job Tracker

He intentado ejecutar un programa simple en hadoop usando Windows-Cygwin.Error al iniciar hadoop Job Tracker

Puedo iniciar el namenode.

El JobTracker empezar sin embargo falla con una excepción:

FATAL mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: local 
     at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:162) 
     at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:128) 
     at org.apache.hadoop.mapred.JobTracker.getAddress(JobTracker.java:2560) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2200) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2192) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2186) 
     at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:300) 
     at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:291) 
     at org.apache.hadoop.mapred.JobTracker.main(JobTracker.java:4978)

he intentado todos los métodos posibles para resolver esto, pero en vano. Cualquier puntero me ayudará mucho.

configuraciones HDF-site.xml:

<configuration><br> 
    <property> 
    <name>fs.default.name< /name> 
    <value>hdfs://localhost:9100</value> 
    </property> 
    <property> 
    <name>mapred.job.tracker< /name> 
    <value>localhost:9101< /value> 
    </property> 
    <property> 
    <name>dfs.replication< /name> 
    <value>1</value> 
    </property> 
</configuration>

Fuente

2012-04-08 stackuser

El problema es las siguientes líneas deberían encendido en mapred-site.xml y NOT hdfs-site.xml,

<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9101</value> 
</property>

Por cierto, ¿por qué intentas ejecutar Hadoop en Windows? ¿Para desarrollo? ¿No tienes una máquina Linux o eres reacio a instalar una?

Una cosa más, se suele poner esta propiedad en el núcleo-site.xml no hdfs-site.xml,

<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9100</value> 
</property>

Fuente

2012-04-08 05:06:13

¿Por qué es razonable desea ejecutar Hadoop en Windows, que no sea, al hacerlo, se corre en contra de vista miope continua de la comunidad Hadoop del mundo que sugiere que sólo hay un sistema operativo aceptable? –

Normalmente, las personas de Hadoop piensan que la máquina de Windows es un videojuego infantil. No es nada serio. Creo que cuando se cansan del trabajo, usan cosas de papel de pared de la máquina de Windows. –

Porque si bien es posible ejecutar Hadoop en Windows, el código se desarrolló completamente en el entorno Linux y, como tal, su ejecución en Windows introducirá variables que no se esperan y darán lugar a complicaciones adicionales de algo que ya es muy complicado. Hadoop realiza muchas operaciones de archivos, y aunque Java puede ejecutarse en Windows, no todas las operaciones nativas funcionan de manera similar, especialmente las operaciones del sistema de archivos. Que funcione en Windows es algo así como un Milagro. La pregunta no es por qué querrías ejecutarlo en Windows, es por eso que querrías la miseria de las incógnitas. – AaronM

que enfrentan el mismo problema cuando se trabaja en el "Pseudo distribuidas" como ejemplos en este página: http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html#PseudoDistributed

Resultó que hadoop simplemente no estaba recogiendo mis archivos conf. Los ejemplos en el enlace anterior suponen que se está ejecutando en su instalación de hadoop (es decir, /Usr/jane/hadoop-1.1.2). Estaba intentando ejecutar los ejemplos en otro directorio. Estoy seguro de que podría configurar hadoop para reconocer otros directorios 'conf', pero tomé la ruta fácil y comencé a ejecutar en mi directorio hadoop.

Este hilo ayudó a resolverlo: https://issues.apache.org/jira/browse/HDFS-2515

Fuente

2013-03-12 00:07:19 fahrradler

Por cierto, esta página me pareció un corolario útil de la página de configuración de hadoop: http://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.html Esta página muestra prácticamente los mismos ejemplos pero con información adicional sobre el resultado esperado. – fahrradler

Error al iniciar hadoop Job Tracker

Respuesta

Cuestiones relacionadas