¿Cómo manejan oozie las dependencias?

Question

tengo varias preguntas sobre oozie 2.3 bibliotecas de acciones:

Actualmente, se definen las bibliotecas comparten nuestra coordinator.properties:

oozie.use.system.libpath=true 
oozie.libpath=<hdfs_path> 

Aquí están mis preguntas:

1. Cuando la participación las bibliotecas se copian a otro nodo de datos y cuántos nodos de datos obtendrán bibliotecas compartidas?

2. ¿Las bibliotecas de recursos compartidos se copian a otro nodo de datos según el número de wf en un trabajo de coordinador o solo se copian una vez por trabajo de coordinador?

Answer 1

Añadir entradas a la propiedad oozie.libpath significa efectivamente que oozie será configurar las bibliotecas de estar en la propiedad de configuración mapred.cache.files (esta es una propiedad DistributedCache) cuando se ejecutan las acciones del flujo de trabajo.

Hadoop entonces hacerse cargo de la copia de esos frascos a cada nodo del clúster una vez por trabajo, y las tareas son entonces configurado con el frasco en la propiedad de configuración ruta de clase mapred.job.classpath.files

Así que en respuesta a su segunda pregunta, lo harán ser copiado para cada acción en el flujo de trabajo, no una vez por trabajo de coordinador. Por lo tanto, si tiene un trabajo de wf que tiene 4 acciones de reducción de mapa, las bibliotecas se copiarán en cada rastreador de tareas (solo los rastreadores de tareas que participan en el trabajo de reducción de mapas) 4 veces en la vida de ese flujo de trabajo.