ejecutar un trabajo Hadoop sin archivo de salida

¿Es posible ejecutar un trabajo hadoop sin especificar archivo de salida? Cuando trato de ejecutar un trabajo hadoop, no es la excepción especificada archivo de salida se lanza. puede cualquiera dar cualquier procedimiento para hacerlo con Java.ejecutar un trabajo Hadoop sin archivo de salida

estoy escribiendo los datos procesados por reducir a una base de datos relacional no, así que ya no sea necesario escribir en HDFS.

Fuente

2012-10-03 R45c4l

es necesario proporcionar más información acerca de lo que ha intentado y lo que estamos tratando de hacer. ¿Cuál es el propósito de ejecutar su trabajo de MR? Para que tenga sentido, producirá resultados de algún tipo. ¿A dónde va? No HDFS, obviamente. ¿Va a HBase o a alguna tienda o servicio externo? –

Lo siento, tengo la actualización de mi pregunta. – R45c4l

Por desgracia, realmente no se puede hacer esto. Escribir resultados es parte del marco. Cuando trabajas fuera del marco, básicamente tienes que lidiar con las consecuencias.

Puede utilizar NullOutputFormat, que no escribe ningún dato en HDFS. Creo que todavía crea la carpeta, sin embargo. Siempre puedes dejar que Hadoop cree la carpeta, luego delete it.

Fuente

2012-10-03 13:13:50

FYI NullOutputFormat no requiere una carpeta de salida para definirse, por lo que debe darle lo que necesita –

ejecutar un trabajo Hadoop sin archivo de salida

Respuesta

Cuestiones relacionadas