Amazon MapReduce sin trabajo de reductor

Question

Estoy intentando crear un trabajo de asignador único a través de AWS (un trabajo de transmisión). El campo reductor es obligatorio, así que le doy un ejecutable ficticio y agrego -jobconf mapred.map.tasks = 0 al cuadro Arg. Adicionales. En el entorno de hadoop (versión 0.20) que he instalado, no se lanzarán trabajos de reducción, pero en AWS el ejecutable ficticio se inicia y falla.

¿Cómo se puede ejecutar un sin reducer/mapper solo trabajos en AWS?

Answer 1

también puede usar cat o NONE como argumento reductor.

Answer 2

No hay forma de crear un trabajo de asignador único en amazon M/R. Estoy usando el identificador reductor (org.apache.hadoop.mapred.lib.IdentityReducer) en su lugar.