Hay tres cosas para probar:
Configuración de un contador de
Si Hadoop ve un contador para el trabajo progresa entonces no va a acabar con él (. Véase la respuesta de Arockiaraj Durairaj) Este parece ser el más Elegante, ya que podría permitirle obtener más información sobre los trabajos de larga duración y si los cuelgues pueden serlo.
Tiempos de espera de tareas más largos
Hadoop agota el tiempo de espera después de 10 minutos de manera predeterminada. Cambiar el tiempo de espera es algo así como fuerza bruta, pero podría funcionar. Imagine analizar archivos de audio que generalmente son archivos de 5MB (canciones), pero tiene unos pocos archivos de 50MB (álbum completo). Hadoop almacena un archivo individual por bloque. Entonces, si su tamaño de bloque HDFS es de 64MB, un archivo de 5MB y otro de 50M requerirá 1 bloque (64MB) (vea aquí http://blog.cloudera.com/blog/2009/02/the-small-files-problem/, y aquí Small files and HDFS blocks). Sin embargo, el trabajo de 5MB funcionaría más rápido que el de 50MB. tiempo de espera de la tarea se puede aumentar en el código (mapred.task.timeout) para el trabajo por las respuestas a esta pregunta similar: How to fix "Task attempt_201104251139_0295_r_000006_0 failed to report status for 600 seconds."
Aumentar la tarea intentos
Configurar Hadoop para hacer más de los 4 intentos por defecto (ver Pradeep La respuesta de Gollakota). Este es el método de fuerza más bruta de los tres. Hadoop intentará el trabajo más veces, pero podría estar enmascarando un problema subyacente (servidores pequeños, bloques de datos grandes, etc.).
¿Está fallando el trabajo debido a este problema? ¿Estás corriendo con la ejecución especulativa habilitada? –
Sí, la ejecución especulativa se establece en verdadero. ¡El trabajo no falla, finalmente termina con una gran cantidad de reductores certificados/fallidos que en general aumentan el tiempo de finalización del trabajo! – RFT
@Pradeep Gollakota Además, he observado que los reductores que se matan o fallan una vez siguen siendo asesinados como 8-9 veces hasta que tienen éxito y los reductores que no se matan ni siquiera una vez están limpios durante todo el trabajo. – RFT