Pasando argumentos a los trazadores de Hadoop

Question

Estoy usando nueva Hadoop API y estoy buscando una forma de pasar algunos parámetros (algunas cadenas) a los mapeadores.
¿Cómo puedo hacer eso?

This solutions works for old API:

JobConf job = (JobConf)getConf(); 
job.set("NumberOfDocuments", args[0]); 

Aquí, “NumberOfDocuments” es el nombre del parámetro y su valor se lee de “args[0]“, un argumento de línea de comandos. Una vez que se establece este argumento, puede recuperar su valor en el reductor o el asignador de la siguiente manera:

private static Long N; 
public void configure(JobConf job) { 
    N = Long.parseLong(job.get("NumberOfDocuments")); 
} 

Nota, la parte difícil es que no se puede establecer parámetros como este:

Configuration con = new Configuration(); 
con.set("NumberOfDocuments", args[0]); 

Answer 1

En el método main configure el parámetro requerido de la siguiente manera o usando el -D command line option mientras ejecuta el trabajo.

Configuration conf = new Configuration(); 
conf.set("test", "123"); 

Job job = new Job(conf); 

En el asignador/reductor de obtener el parámetro como

Configuration conf = context.getConfiguration(); 
String param = conf.get("test");