¿Cómo ejecutar un programa de Hadoop?

He configurado Hadoop en mi computadora portátil y ejecuté con éxito el programa de ejemplo que figura en la guía de instalación. Pero, no puedo ejecutar un programa.¿Cómo ejecutar un programa de Hadoop?

[email protected]:~/hadoop/ch2$ hadoop MaxTemperature input/ncdc/sample.txt output 
Exception in thread "main" java.lang.NoClassDefFoundError: MaxTemperature 
Caused by: java.lang.ClassNotFoundException: MaxTemperature 
at java.net.URLClassLoader$1.run(URLClassLoader.java:202) 
at java.security.AccessController.doPrivileged(Native Method) 
at java.net.URLClassLoader.findClass(URLClassLoader.java:190) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:307) 
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:248) 
Could not find the main class: MaxTemperature. Program will exit.

El libro dice que debemos establecer una ruta de clases Hadoop escribiendo

[email protected]:~/hadoop/ch2$ export HADOOP_CLASSPATH=build/classes

La clase principal se define en el archivo MaxTemperature.java que yo estoy ejecutando. ¿Cómo establecemos Hadoop Classpath? ¿Tenemos que hacerlo para la ejecución de todos los programas o solo una vez? ¿Dónde debería poner la carpeta de entrada? Mi código está en/home/rohit/hadoop/ch2 y mi instalación de Hadoop está en/home/hadoop.

Fuente

2010-09-26 rohitmishra

Debe empaquetar la aplicación en un archivo JAR, eso es mucho más fácil y menos propenso a errores que manipular las carpetas classpath.

En su caso, también debe compilar el archivo .java. Dijiste que es MaxTemparature.java, pero también debe haber una clase de MaxTemperature antes de poder ejecutarla.

Fuente

2010-09-26 20:44:03 mhaller

El libro me refiero he dicho que deberíamos empaquetar los archivos en un archivo JAR para facilitar su distribución a través de una racimo. Pero, para simplificar, están usando archivos individuales al comienzo. – rohitmishra

aquí es el ansewer en 3 pasos:

javac -verbose -classpath C:\\hadoop\\hadoop-0.19.2-core.jar MaxTemperature*.java -d build/classes

put *.class in build/classes

export HADOOP_CLASSPATH=${HADOOP_HOME}/path/to/build/classes

(usted tiene que crear la acumulación/directorio de clases)

Saludos Walid

Fuente

2011-03-12 09:22:27 walid

+1 para instrucciones paso a paso – Shekhar

después de hacer su clase de un archivo jar:

hadoop jar MaxTemperature.jar MaxTemperature

básicamente:

hadoop jar jarfile main [args]

Fuente

2011-03-12 10:17:54 frail

me encontré con este problema también cuando se va a través del libro de Hadoop (O'Reilly). Lo arreglé estableciendo la variable HADOOP_CLASSPATH en el archivo hadoop-env.sh en su directorio de configuración.

Fuente

2011-08-31 18:58:48 Jason

Primera compilar los archivos de Java según lo dicho por Walid:

javac -classpath path-to-hadoop-0.19.2-core.jar .java-files -d folder-to-contain-classes

Crear archivo jar de clases de la aplicación:
```
jar cf filename.jar *.classes 
```
En cualquiera de los, si va a exportar las clases en un archivo jar o usando una carpeta específica para almacenar archivos de clase, debe definir HADOOP_CLASSPATH apuntando a esa cla particular ss archivo o carpeta que contiene el archivo de clase. De modo que en el momento de ejecutar el comando Hadoop, debe saber dónde buscar especificado para la clase principal.

conjunto HADOOP_CLASSPATH

export HADOOP_CLASSPATH=path-to-filename.jar

export HADOOP_CLASSPATH=path-to-folder-containing-classes

de ejecución con el comando Hadoop:
```
hadoop main-class args 
```

Fuente

2012-09-16 10:27:53 swapy

Usted no necesariamente necesita un archivo jar, pero no yo ¿Has puesto MaxTemperature en un paquete?

Si es así, dicen que su archivo MaxTemperature.class está en yourdir/bin/yourpackage/, todo lo que tiene que hacer es:

export HADOOP_CLASSPATH=yourdir/bin 
hadoop yourpackage.MaxTemperature

Fuente

2013-02-24 21:50:23

Gracias por la respuesta limpia – Vor

¿Cómo ejecutar un programa de Hadoop?

Respuesta

Cuestiones relacionadas