Configuración de Hadoop: mapred. * Vs mapreduce. *

Question

Me di cuenta de que hay dos conjuntos de parámetros de configuración de Hadoop: uno con mapred. * Y el otro con mapreduce. . Supongo que pueden deberse a una antigua API frente a una nueva API, pero si no me equivoco, parece que coexisten en la nueva API. ¿Estoy en lo correcto? Si es así, ¿hay una declaración generalizada de lo que se usa para mapred? y lo que es para mapreduce. *?

Answer 1

Examinando la fuente de 0.20.2, hay solo unas pocas propiedades mapreduce.*, y giran en torno a la configuración del formato de entrada/salida de trabajo, mapper/combinador/reductor y clases de particionador (también señalan al cliente de trabajo que el nueva API está siendo utilizado por el usuario - mirar a través de la fuente para o.a.h.mapreduce.Job, setUseNewAPI() método)

• mapreduce.inputformat.class
• mapreduce.outputformat.class
• mapreduce.partitioner.class
• mapreduce.map.class
• mapreduce.combine.class
• mapreduce.reduce.class

Hay algunas propiedades más pero son configuración secundaria

la entrada y salida formatos, ya sea versiones nuevas o antiguas API, típicamente utilizar mapred.* propiedades

Por ejemplo, la señal de su mapa reduce las rutas de entrada que usa mapred.input.dir (ya sea que esté usi ng la API nueva o antigua). Lo mismo para la propiedad de salida mapred.output.dir

lo tanto, el largo y el corto de si es, si no hay un método de utilidad para configurar la propiedad (FileInputFormat.setInputPaths(Job, String)), entonces usted tendrá que comprobar la fuente

Answer 2

hadoop.mapred ha quedado obsoleto.

Versiones anteriores a 0.20.1 utilizadas mapred. Versiones después de ese uso mapreduce.

No creo que coexistan.

Answer 3

Sí mapred la biblioteca ha sido desaprobada. La biblioteca de mapreduce es nueva en hadoop 0.20.1 ..

Sin embargo, todavía puede utilizar algunas de las características que ofrece mapred, por lo que aún la encuentra en el directorio.

favor, eche un vistazo a este enlace para saber qué características que todavía se puede utilizar: http://hadoop.apache.org/common/docs/r0.20.0/api/org/apache/hadoop/mapred/package-summary.html