Configurar el registro de Hadoop para evitar demasiados archivos de registro

Question

Tengo un problema con Hadoop produciendo demasiados archivos de registro en $ HADOOP_LOG_DIR/userlogs (el sistema de archivos Ext3 solo permite 32000 subdirectorios) que se ve como el mismo problema en esta pregunta: Error in Hadoop MapReduce

Mi pregunta es: ¿Alguien sabe cómo configurar Hadoop para rodar el directorio de registro o evitarlo? Intento evitar simplemente establecer las propiedades "mapred.userlog.retain.hours" y/o "mapred.userlog.limit.kb" porque quiero conservar realmente los archivos de registro.

También esperaba configurar esto en log4j.properties, pero mirando el origen de Hadoop 0.20.2, escribe directamente en los archivos de registro en lugar de usar log4j. Quizás no entiendo cómo se usa log4j por completo.

Cualquier sugerencia o aclaraciones sería muy apreciada.

Answer 1

Por desgracia, no es una forma configurable para evitar eso. Cada tarea para un trabajo obtiene un directorio en el historial/registros de usuario, que contendrá los archivos de salida del registro de tareas stdout, stderr y syslog. Las horas de retención ayudarán a evitar que muchas de ellas se acumulen, pero tendría que escribir una buena herramienta de rotación de registros para auto-tar.

También tuvimos este problema cuando escribíamos en un montaje NFS, porque todos los nodos compartirían el mismo directorio de historial/registro de usuarios. Esto significa que un trabajo con 30,000 tareas sería suficiente para romper el FS. El inicio de sesión local es realmente el camino a seguir cuando su clúster realmente comienza a procesar una gran cantidad de datos.

Si ya está iniciando sesión localmente y aún logra procesar más de 30,000 tareas en una máquina en menos de una semana, entonces probablemente esté creando demasiados archivos pequeños, lo que hace que se generen demasiados mapeadores para cada trabajo.

Answer 2

De acuerdo con la documentación, Hadoop uses log4j for logging. Quizás esté interesado en el lugar equivocado ...

Answer 3

tenía este mismo problema. Establezca la variable de entorno "HADOOP_ROOT_LOGGER = WARN, consola" antes de iniciar Hadoop.

export HADOOP_ROOT_LOGGER="WARN,console" 
hadoop jar start.jar 

Answer 4

Configuración hadoop usar log4j y el establecimiento de

log4j.appender.FILE_AP1.MaxFileSize=100MB 
log4j.appender.FILE_AP1.MaxBackupIndex=10 

como se describe en la this wiki page no funciona?

Al mirar el LogLevel source code, parece que hadoop usa el registro de commons, y tratará de usar log4j por defecto, o jdk logger si log4j no está en el classpath.

Por cierto, es posible cambiar los niveles de registro en el tiempo de ejecución, eche un vistazo a commands manual.

Answer 5

También corrí en el mismo problema ... Hive produce una gran cantidad de registros, y cuando el nodo del disco está lleno, no se pueden lanzar más contenedores. En Yarn, actualmente no hay ninguna opción para deshabilitar el registro. Un archivo particularmente grande es el archivo syslog, que genera GB de registros en pocos minutos en nuestro caso.

Configurando en "yarn-site.xml" la propiedad yarn.nodemanager.log.retain-seconds a un valor pequeño no ayuda. No es posible establecer "yarn.nodemanager.log-dirs" en "file: /// dev/null" porque se necesita un directorio. La eliminación de la escritura de ritmos (chmod -r/logs) tampoco funcionó.

Una solución podría ser la de un directorio "agujero negro nula".Compruebe aquí: https://unix.stackexchange.com/questions/9332/how-can-i-create-a-dev-null-like-blackhole-directory

Otra solución que nos funciona es desactivar el registro antes de ejecutar los trabajos. Por ejemplo, en la colmena, a partir de la secuencia de comandos mediante las siguientes líneas está trabajando:

set yarn.app.mapreduce.am.log.level=OFF; 
set mapreduce.map.log.level=OFF; 
set mapreduce.reduce.log.level=OFF;